Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright(C) 2021 Marvell.
3 : : */
4 : :
5 : : #include <rte_common.h>
6 : : #include <rte_cycles.h>
7 : : #include <rte_io.h>
8 : : #include <ethdev_driver.h>
9 : : #include <ethdev_pci.h>
10 : :
11 : : #include "otx_ep_common.h"
12 : : #include "otx_ep_vf.h"
13 : :
14 : :
15 : : static int
16 : 0 : otx_ep_setup_global_iq_reg(struct otx_ep_device *otx_ep, int q_no)
17 : : {
18 : 0 : volatile uint64_t reg_val = 0ull;
19 : : int loop = OTX_EP_BUSY_LOOP_COUNT;
20 : :
21 : : /* Select ES, RO, NS, RDSIZE,DPTR Format#0 for IQs
22 : : * IS_64B is by default enabled.
23 : : */
24 : 0 : reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_IN_CONTROL(q_no));
25 : :
26 : 0 : reg_val |= OTX_EP_R_IN_CTL_RDSIZE;
27 : 0 : reg_val |= OTX_EP_R_IN_CTL_IS_64B;
28 : 0 : reg_val |= OTX_EP_R_IN_CTL_ESR;
29 : :
30 : 0 : otx_ep_write64(reg_val, otx_ep->hw_addr, OTX_EP_R_IN_CONTROL(q_no));
31 : 0 : reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_IN_CONTROL(q_no));
32 : :
33 [ # # ]: 0 : if (!(reg_val & OTX_EP_R_IN_CTL_IDLE)) {
34 : : do {
35 : 0 : reg_val = rte_read64(otx_ep->hw_addr +
36 : : OTX_EP_R_IN_CONTROL(q_no));
37 [ # # # # ]: 0 : } while (!(reg_val & OTX_EP_R_IN_CTL_IDLE) && loop--);
38 [ # # ]: 0 : if (loop < 0)
39 : 0 : return -EIO;
40 : : }
41 : : return 0;
42 : : }
43 : :
44 : : static void
45 : 0 : otx_ep_setup_global_oq_reg(struct otx_ep_device *otx_ep, int q_no)
46 : : {
47 : 0 : volatile uint64_t reg_val = 0ull;
48 : :
49 : 0 : reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_OUT_CONTROL(q_no));
50 : :
51 : 0 : reg_val &= ~(OTX_EP_R_OUT_CTL_IMODE);
52 : 0 : reg_val &= ~(OTX_EP_R_OUT_CTL_ROR_P);
53 : 0 : reg_val &= ~(OTX_EP_R_OUT_CTL_NSR_P);
54 : 0 : reg_val &= ~(OTX_EP_R_OUT_CTL_ROR_I);
55 : 0 : reg_val &= ~(OTX_EP_R_OUT_CTL_NSR_I);
56 : 0 : reg_val &= ~(OTX_EP_R_OUT_CTL_ES_I);
57 : 0 : reg_val &= ~(OTX_EP_R_OUT_CTL_ROR_D);
58 : 0 : reg_val &= ~(OTX_EP_R_OUT_CTL_NSR_D);
59 : 0 : reg_val &= ~(OTX_EP_R_OUT_CTL_ES_D);
60 : :
61 : : /* INFO/DATA ptr swap is required */
62 : 0 : reg_val |= (OTX_EP_R_OUT_CTL_ES_P);
63 : :
64 : 0 : otx_ep_write64(reg_val, otx_ep->hw_addr, OTX_EP_R_OUT_CONTROL(q_no));
65 : 0 : }
66 : :
67 : : static int
68 : : otx_ep_setup_global_input_regs(struct otx_ep_device *otx_ep)
69 : : {
70 : : uint64_t q_no = 0ull;
71 : : int ret = 0;
72 : :
73 [ # # ]: 0 : for (q_no = 0; q_no < (otx_ep->sriov_info.rings_per_vf); q_no++) {
74 : 0 : ret = otx_ep_setup_global_iq_reg(otx_ep, q_no);
75 [ # # ]: 0 : if (ret)
76 : : return ret;
77 : : }
78 : : return 0;
79 : : }
80 : :
81 : : static void
82 : : otx_ep_setup_global_output_regs(struct otx_ep_device *otx_ep)
83 : : {
84 : : uint32_t q_no;
85 : :
86 [ # # ]: 0 : for (q_no = 0; q_no < (otx_ep->sriov_info.rings_per_vf); q_no++)
87 : 0 : otx_ep_setup_global_oq_reg(otx_ep, q_no);
88 : : }
89 : :
90 : : static int
91 : 0 : otx_ep_setup_device_regs(struct otx_ep_device *otx_ep)
92 : : {
93 : : int ret;
94 : :
95 : : ret = otx_ep_setup_global_input_regs(otx_ep);
96 [ # # ]: 0 : if (ret)
97 : : return ret;
98 : : otx_ep_setup_global_output_regs(otx_ep);
99 : : return 0;
100 : : }
101 : :
102 : : static int
103 : 0 : otx_ep_setup_iq_regs(struct otx_ep_device *otx_ep, uint32_t iq_no)
104 : : {
105 : 0 : struct otx_ep_instr_queue *iq = otx_ep->instr_queue[iq_no];
106 : 0 : volatile uint64_t reg_val = 0ull;
107 : : int loop = OTX_EP_BUSY_LOOP_COUNT;
108 : :
109 : 0 : reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_IN_CONTROL(iq_no));
110 : :
111 : : /* Wait till IDLE to set to 1, not supposed to configure BADDR
112 : : * as long as IDLE is 0
113 : : */
114 [ # # ]: 0 : if (!(reg_val & OTX_EP_R_IN_CTL_IDLE)) {
115 : : do {
116 : 0 : reg_val = rte_read64(otx_ep->hw_addr +
117 : : OTX_EP_R_IN_CONTROL(iq_no));
118 [ # # # # ]: 0 : } while (!(reg_val & OTX_EP_R_IN_CTL_IDLE) && loop--);
119 [ # # ]: 0 : if (loop < 0)
120 : : return -EIO;
121 : : }
122 : :
123 : : /* Configure input queue instruction size. */
124 [ # # ]: 0 : if (iq->desc_size == OTX_EP_32BYTE_INSTR)
125 : 0 : reg_val &= ~(OTX_EP_R_IN_CTL_IS_64B);
126 : : else
127 : 0 : reg_val |= OTX_EP_R_IN_CTL_IS_64B;
128 : 0 : oct_ep_write64(reg_val, otx_ep->hw_addr + OTX_EP_R_IN_CONTROL(iq_no));
129 : 0 : iq->desc_size = otx_ep->conf->iq.instr_type;
130 : :
131 : : /* Write the start of the input queue's ring and its size */
132 : 0 : otx_ep_write64(iq->base_addr_dma, otx_ep->hw_addr,
133 : : OTX_EP_R_IN_INSTR_BADDR(iq_no));
134 : 0 : otx_ep_write64(iq->nb_desc, otx_ep->hw_addr,
135 : : OTX_EP_R_IN_INSTR_RSIZE(iq_no));
136 : :
137 : : /* Remember the doorbell & instruction count register addr
138 : : * for this queue
139 : : */
140 : 0 : iq->doorbell_reg = (uint8_t *)otx_ep->hw_addr +
141 : 0 : OTX_EP_R_IN_INSTR_DBELL(iq_no);
142 : 0 : iq->inst_cnt_reg = (uint8_t *)otx_ep->hw_addr +
143 : 0 : OTX_EP_R_IN_CNTS(iq_no);
144 : :
145 : 0 : otx_ep_dbg("InstQ[%d]:dbell reg @ 0x%p inst_cnt_reg @ 0x%p\n",
146 : : iq_no, iq->doorbell_reg, iq->inst_cnt_reg);
147 : :
148 : : loop = OTX_EP_BUSY_LOOP_COUNT;
149 : : do {
150 : 0 : reg_val = rte_read32(iq->inst_cnt_reg);
151 : 0 : rte_write32(reg_val, iq->inst_cnt_reg);
152 [ # # # # ]: 0 : } while ((reg_val != 0) && loop--);
153 [ # # ]: 0 : if (loop < 0)
154 : : return -EIO;
155 : :
156 : : /* IN INTR_THRESHOLD is set to max(FFFFFFFF) which disable the IN INTR
157 : : * to raise
158 : : */
159 : : /* reg_val = rte_read64(otx_ep->hw_addr +
160 : : * OTX_EP_R_IN_INT_LEVELS(iq_no));
161 : : */
162 : 0 : otx_ep_write64(OTX_EP_CLEAR_IN_INT_LVLS, otx_ep->hw_addr,
163 : : OTX_EP_R_IN_INT_LEVELS(iq_no));
164 : 0 : return 0;
165 : : }
166 : :
167 : : static int
168 : 0 : otx_ep_setup_oq_regs(struct otx_ep_device *otx_ep, uint32_t oq_no)
169 : : {
170 : 0 : volatile uint64_t reg_val = 0ull;
171 : : uint64_t oq_ctl = 0ull;
172 : : int loop = OTX_EP_BUSY_LOOP_COUNT;
173 : :
174 : 0 : struct otx_ep_droq *droq = otx_ep->droq[oq_no];
175 : :
176 : : /* Wait on IDLE to set to 1, supposed to configure BADDR
177 : : * as log as IDLE is 0
178 : : */
179 : 0 : otx_ep_write64(0ULL, otx_ep->hw_addr, OTX_EP_R_OUT_ENABLE(oq_no));
180 : :
181 : 0 : reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_OUT_CONTROL(oq_no));
182 : :
183 [ # # # # ]: 0 : while (!(reg_val & OTX_EP_R_OUT_CTL_IDLE) && loop--) {
184 : 0 : reg_val = rte_read64(otx_ep->hw_addr +
185 : : OTX_EP_R_OUT_CONTROL(oq_no));
186 : : }
187 [ # # ]: 0 : if (loop < 0)
188 : : return -EIO;
189 : :
190 : 0 : otx_ep_write64(droq->desc_ring_dma, otx_ep->hw_addr,
191 : : OTX_EP_R_OUT_SLIST_BADDR(oq_no));
192 : 0 : otx_ep_write64(droq->nb_desc, otx_ep->hw_addr,
193 : : OTX_EP_R_OUT_SLIST_RSIZE(oq_no));
194 : :
195 : 0 : oq_ctl = rte_read64(otx_ep->hw_addr + OTX_EP_R_OUT_CONTROL(oq_no));
196 : :
197 : : /* Clear the ISIZE and BSIZE (22-0) */
198 : 0 : oq_ctl &= ~(OTX_EP_CLEAR_ISIZE_BSIZE);
199 : :
200 : : /* Populate the BSIZE (15-0) */
201 : 0 : oq_ctl |= (droq->buffer_size & OTX_EP_DROQ_BUFSZ_MASK);
202 : :
203 : 0 : otx_ep_write64(oq_ctl, otx_ep->hw_addr, OTX_EP_R_OUT_CONTROL(oq_no));
204 : :
205 : : /* Mapped address of the pkt_sent and pkts_credit regs */
206 : 0 : droq->pkts_sent_reg = (uint8_t *)otx_ep->hw_addr +
207 : 0 : OTX_EP_R_OUT_CNTS(oq_no);
208 : 0 : droq->pkts_credit_reg = (uint8_t *)otx_ep->hw_addr +
209 : 0 : OTX_EP_R_OUT_SLIST_DBELL(oq_no);
210 : :
211 : 0 : otx_ep_write64(OTX_EP_CLEAR_OUT_INT_LVLS, otx_ep->hw_addr,
212 : : OTX_EP_R_OUT_INT_LEVELS(oq_no));
213 : :
214 : : /* Clear the OQ doorbell */
215 : : loop = OTX_EP_BUSY_LOOP_COUNT;
216 : 0 : rte_write32(OTX_EP_CLEAR_SLIST_DBELL, droq->pkts_credit_reg);
217 [ # # # # ]: 0 : while ((rte_read32(droq->pkts_credit_reg) != 0ull) && loop--) {
218 : 0 : rte_write32(OTX_EP_CLEAR_SLIST_DBELL, droq->pkts_credit_reg);
219 : : rte_delay_ms(1);
220 : : }
221 [ # # ]: 0 : if (loop < 0)
222 : : return -EIO;
223 : 0 : otx_ep_dbg("OTX_EP_R[%d]_credit:%x\n", oq_no,
224 : : rte_read32(droq->pkts_credit_reg));
225 : :
226 : : /* Clear the OQ_OUT_CNTS doorbell */
227 : 0 : reg_val = rte_read32(droq->pkts_sent_reg);
228 : 0 : rte_write32((uint32_t)reg_val, droq->pkts_sent_reg);
229 : :
230 : 0 : otx_ep_dbg("OTX_EP_R[%d]_sent: %x\n", oq_no,
231 : : rte_read32(droq->pkts_sent_reg));
232 : :
233 : : loop = OTX_EP_BUSY_LOOP_COUNT;
234 [ # # # # ]: 0 : while (((rte_read32(droq->pkts_sent_reg)) != 0ull) && loop--) {
235 : 0 : reg_val = rte_read32(droq->pkts_sent_reg);
236 : 0 : rte_write32((uint32_t)reg_val, droq->pkts_sent_reg);
237 : : rte_delay_ms(1);
238 : : }
239 [ # # ]: 0 : if (loop < 0)
240 : 0 : return -EIO;
241 : : return 0;
242 : : }
243 : :
244 : : static int
245 : 0 : otx_ep_enable_iq(struct otx_ep_device *otx_ep, uint32_t q_no)
246 : : {
247 : 0 : volatile uint64_t reg_val = 0ull;
248 : : int loop = OTX_EP_BUSY_LOOP_COUNT;
249 : :
250 : : /* Resetting doorbells during IQ enabling also to handle abrupt
251 : : * guest reboot. IQ reset does not clear the doorbells.
252 : : */
253 : 0 : otx_ep_write64(0xFFFFFFFF, otx_ep->hw_addr,
254 : : OTX_EP_R_IN_INSTR_DBELL(q_no));
255 : :
256 : 0 : while (((rte_read64(otx_ep->hw_addr +
257 [ # # # # ]: 0 : OTX_EP_R_IN_INSTR_DBELL(q_no))) != 0ull) && loop--) {
258 : : rte_delay_ms(1);
259 : : }
260 : :
261 [ # # ]: 0 : if (loop < 0) {
262 : 0 : otx_ep_err("dbell reset failed\n");
263 : 0 : return -EIO;
264 : : }
265 : :
266 : :
267 : 0 : reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_IN_ENABLE(q_no));
268 : 0 : reg_val |= 0x1ull;
269 : :
270 : 0 : otx_ep_write64(reg_val, otx_ep->hw_addr, OTX_EP_R_IN_ENABLE(q_no));
271 : :
272 : 0 : otx_ep_info("IQ[%d] enable done\n", q_no);
273 : :
274 : 0 : return 0;
275 : : }
276 : :
277 : : static int
278 : 0 : otx_ep_enable_oq(struct otx_ep_device *otx_ep, uint32_t q_no)
279 : : {
280 : 0 : volatile uint64_t reg_val = 0ull;
281 : : int loop = OTX_EP_BUSY_LOOP_COUNT;
282 : :
283 : : /* Resetting doorbells during IQ enabling also to handle abrupt
284 : : * guest reboot. IQ reset does not clear the doorbells.
285 : : */
286 : 0 : otx_ep_write64(0xFFFFFFFF, otx_ep->hw_addr,
287 : : OTX_EP_R_OUT_SLIST_DBELL(q_no));
288 : 0 : while (((rte_read64(otx_ep->hw_addr +
289 [ # # # # ]: 0 : OTX_EP_R_OUT_SLIST_DBELL(q_no))) != 0ull) && loop--) {
290 : : rte_delay_ms(1);
291 : : }
292 [ # # ]: 0 : if (loop < 0) {
293 : 0 : otx_ep_err("dbell reset failed\n");
294 : 0 : return -EIO;
295 : : }
296 : :
297 : :
298 : 0 : reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_OUT_ENABLE(q_no));
299 : 0 : reg_val |= 0x1ull;
300 : 0 : otx_ep_write64(reg_val, otx_ep->hw_addr, OTX_EP_R_OUT_ENABLE(q_no));
301 : :
302 : 0 : otx_ep_info("OQ[%d] enable done\n", q_no);
303 : :
304 : 0 : return 0;
305 : : }
306 : :
307 : : static int
308 : 0 : otx_ep_enable_io_queues(struct otx_ep_device *otx_ep)
309 : : {
310 : : uint32_t q_no = 0;
311 : : int ret;
312 : :
313 [ # # ]: 0 : for (q_no = 0; q_no < otx_ep->nb_tx_queues; q_no++) {
314 : 0 : ret = otx_ep_enable_iq(otx_ep, q_no);
315 [ # # ]: 0 : if (ret)
316 : 0 : return ret;
317 : : }
318 : :
319 [ # # ]: 0 : for (q_no = 0; q_no < otx_ep->nb_rx_queues; q_no++) {
320 : 0 : ret = otx_ep_enable_oq(otx_ep, q_no);
321 [ # # ]: 0 : if (ret)
322 : 0 : return ret;
323 : : }
324 : :
325 : : return 0;
326 : : }
327 : :
328 : : static void
329 : 0 : otx_ep_disable_iq(struct otx_ep_device *otx_ep, uint32_t q_no)
330 : : {
331 : : uint64_t reg_val = 0ull;
332 : :
333 : : /* Reset the doorbell register for this Input Queue. */
334 : 0 : reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_IN_ENABLE(q_no));
335 : 0 : reg_val &= ~0x1ull;
336 : :
337 : 0 : otx_ep_write64(reg_val, otx_ep->hw_addr, OTX_EP_R_IN_ENABLE(q_no));
338 : 0 : }
339 : :
340 : : static void
341 : 0 : otx_ep_disable_oq(struct otx_ep_device *otx_ep, uint32_t q_no)
342 : : {
343 : : uint64_t reg_val = 0ull;
344 : :
345 : 0 : reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_OUT_ENABLE(q_no));
346 : 0 : reg_val &= ~0x1ull;
347 : :
348 : 0 : otx_ep_write64(reg_val, otx_ep->hw_addr, OTX_EP_R_OUT_ENABLE(q_no));
349 : 0 : }
350 : :
351 : : static void
352 : 0 : otx_ep_disable_io_queues(struct otx_ep_device *otx_ep)
353 : : {
354 : : uint32_t q_no = 0;
355 : :
356 [ # # ]: 0 : for (q_no = 0; q_no < otx_ep->sriov_info.rings_per_vf; q_no++) {
357 : 0 : otx_ep_disable_iq(otx_ep, q_no);
358 : 0 : otx_ep_disable_oq(otx_ep, q_no);
359 : : }
360 : 0 : }
361 : :
362 : : /* OTX_EP default configuration */
363 : : static const struct otx_ep_config default_otx_ep_conf = {
364 : : /* IQ attributes */
365 : : .iq = {
366 : : .max_iqs = OTX_EP_CFG_IO_QUEUES,
367 : : .instr_type = OTX_EP_64BYTE_INSTR,
368 : : .pending_list_size = (OTX_EP_MAX_IQ_DESCRIPTORS *
369 : : OTX_EP_CFG_IO_QUEUES),
370 : : },
371 : :
372 : : /* OQ attributes */
373 : : .oq = {
374 : : .max_oqs = OTX_EP_CFG_IO_QUEUES,
375 : : .info_ptr = OTX_EP_OQ_INFOPTR_MODE,
376 : : .refill_threshold = OTX_EP_OQ_REFIL_THRESHOLD,
377 : : },
378 : :
379 : : .num_iqdef_descs = OTX_EP_MAX_IQ_DESCRIPTORS,
380 : : .num_oqdef_descs = OTX_EP_MAX_OQ_DESCRIPTORS,
381 : : .oqdef_buf_size = OTX_EP_OQ_BUF_SIZE,
382 : :
383 : : };
384 : :
385 : :
386 : : static const struct otx_ep_config*
387 : : otx_ep_get_defconf(struct otx_ep_device *otx_ep_dev __rte_unused)
388 : : {
389 : : const struct otx_ep_config *default_conf = NULL;
390 : :
391 : : default_conf = &default_otx_ep_conf;
392 : :
393 : : return default_conf;
394 : : }
395 : :
396 : : int
397 : 0 : otx_ep_vf_setup_device(struct otx_ep_device *otx_ep)
398 : : {
399 : : uint64_t reg_val = 0ull;
400 : :
401 : : /* If application doesn't provide its conf, use driver default conf */
402 [ # # ]: 0 : if (otx_ep->conf == NULL) {
403 : 0 : otx_ep->conf = otx_ep_get_defconf(otx_ep);
404 : : if (otx_ep->conf == NULL) {
405 : : otx_ep_err("OTX_EP VF default config not found\n");
406 : : return -ENOENT;
407 : : }
408 : 0 : otx_ep_info("Default config is used\n");
409 : : }
410 : :
411 : : /* Get IOQs (RPVF] count */
412 : 0 : reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_IN_CONTROL(0));
413 : :
414 : 0 : otx_ep->sriov_info.rings_per_vf = ((reg_val >> OTX_EP_R_IN_CTL_RPVF_POS)
415 : 0 : & OTX_EP_R_IN_CTL_RPVF_MASK);
416 : :
417 : 0 : otx_ep_info("OTX_EP RPVF: %d\n", otx_ep->sriov_info.rings_per_vf);
418 : :
419 : 0 : otx_ep->fn_list.setup_iq_regs = otx_ep_setup_iq_regs;
420 : 0 : otx_ep->fn_list.setup_oq_regs = otx_ep_setup_oq_regs;
421 : :
422 : 0 : otx_ep->fn_list.setup_device_regs = otx_ep_setup_device_regs;
423 : :
424 : 0 : otx_ep->fn_list.enable_io_queues = otx_ep_enable_io_queues;
425 : 0 : otx_ep->fn_list.disable_io_queues = otx_ep_disable_io_queues;
426 : :
427 : 0 : otx_ep->fn_list.enable_iq = otx_ep_enable_iq;
428 : 0 : otx_ep->fn_list.disable_iq = otx_ep_disable_iq;
429 : :
430 : 0 : otx_ep->fn_list.enable_oq = otx_ep_enable_oq;
431 : 0 : otx_ep->fn_list.disable_oq = otx_ep_disable_oq;
432 : :
433 : :
434 : : return 0;
435 : : }
|