Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright(c) 2018 Gaƫtan Rivet
3 : : */
4 : :
5 : : #include <rte_debug.h>
6 : :
7 : : #include "rte_ethdev.h"
8 : : #include "rte_ethdev_trace_fp.h"
9 : : #include "ethdev_driver.h"
10 : : #include "ethdev_private.h"
11 : :
12 : : static const char *MZ_RTE_ETH_DEV_DATA = "rte_eth_dev_data";
13 : :
14 : : static const struct rte_memzone *eth_dev_shared_mz;
15 : : struct eth_dev_shared *eth_dev_shared_data;
16 : :
17 : : /* spinlock for eth device callbacks */
18 : : rte_spinlock_t eth_dev_cb_lock = RTE_SPINLOCK_INITIALIZER;
19 : :
20 : : uint16_t
21 : 0 : eth_dev_to_id(const struct rte_eth_dev *dev)
22 : : {
23 [ # # ]: 0 : if (dev == NULL)
24 : : return RTE_MAX_ETHPORTS;
25 : 0 : return dev - rte_eth_devices;
26 : : }
27 : :
28 : : struct rte_eth_dev *
29 : 0 : eth_find_device(const struct rte_eth_dev *start, rte_eth_cmp_t cmp,
30 : : const void *data)
31 : : {
32 : : struct rte_eth_dev *edev;
33 : : ptrdiff_t idx;
34 : :
35 : : /* Avoid Undefined Behaviour */
36 [ # # # # ]: 0 : if (start != NULL &&
37 [ # # ]: 0 : (start < &rte_eth_devices[0] ||
38 : : start > &rte_eth_devices[RTE_MAX_ETHPORTS]))
39 : : return NULL;
40 [ # # ]: 0 : if (start != NULL)
41 : 0 : idx = eth_dev_to_id(start) + 1;
42 : : else
43 : : idx = 0;
44 [ # # ]: 0 : for (; idx < RTE_MAX_ETHPORTS; idx++) {
45 : 0 : edev = &rte_eth_devices[idx];
46 [ # # ]: 0 : if (cmp(edev, data) == 0)
47 : 0 : return edev;
48 : : }
49 : : return NULL;
50 : : }
51 : :
52 : : /* Put new value into list. */
53 : : static int
54 : : rte_eth_devargs_enlist(uint16_t *list, uint16_t *len_list,
55 : : const uint16_t max_list, uint16_t val)
56 : : {
57 : : uint16_t i;
58 : :
59 [ # # # # ]: 0 : for (i = 0; i < *len_list; i++) {
60 [ # # # # ]: 0 : if (list[i] == val)
61 : : return 0;
62 : : }
63 [ # # # # ]: 0 : if (*len_list >= max_list)
64 : : return -1;
65 : 0 : list[(*len_list)++] = val;
66 : : return 0;
67 : : }
68 : :
69 : : /* Parse and enlist a range expression of "min-max" or a single value. */
70 : : static char *
71 : 0 : rte_eth_devargs_process_range(char *str, uint16_t *list, uint16_t *len_list,
72 : : const uint16_t max_list)
73 : : {
74 : : uint16_t lo, hi, val;
75 : 0 : int result, n = 0;
76 : : char *pos = str;
77 : :
78 : 0 : result = sscanf(str, "%hu%n-%hu%n", &lo, &n, &hi, &n);
79 [ # # ]: 0 : if (result == 1) {
80 : 0 : if (rte_eth_devargs_enlist(list, len_list, max_list, lo) != 0)
81 : : return NULL;
82 [ # # ]: 0 : } else if (result == 2) {
83 [ # # ]: 0 : if (lo > hi)
84 : : return NULL;
85 [ # # ]: 0 : for (val = lo; val <= hi; val++) {
86 : : if (rte_eth_devargs_enlist(list, len_list, max_list,
87 : : val) != 0)
88 : : return NULL;
89 : : }
90 : : } else
91 : : return NULL;
92 : 0 : return pos + n;
93 : : }
94 : :
95 : : /*
96 : : * Parse list of values separated by ",".
97 : : * Each value could be a range [min-max] or single number.
98 : : * Examples:
99 : : * 2 - single
100 : : * [1,2,3] - single list
101 : : * [1,3-5,7,9-11] - list with singles and ranges
102 : : */
103 : : static char *
104 : 0 : rte_eth_devargs_process_list(char *str, uint16_t *list, uint16_t *len_list,
105 : : const uint16_t max_list)
106 : : {
107 : : char *pos = str;
108 : :
109 [ # # ]: 0 : if (*pos == '[')
110 : 0 : pos++;
111 : : while (1) {
112 : 0 : pos = rte_eth_devargs_process_range(pos, list, len_list,
113 : : max_list);
114 [ # # ]: 0 : if (pos == NULL)
115 : : return NULL;
116 [ # # ]: 0 : if (*pos != ',') /* end of list */
117 : : break;
118 : 0 : pos++;
119 : : }
120 [ # # # # ]: 0 : if (*str == '[' && *pos != ']')
121 : : return NULL;
122 [ # # ]: 0 : if (*pos == ']')
123 : 0 : pos++;
124 : : return pos;
125 : : }
126 : :
127 : : /*
128 : : * Parse representor ports from a single value or lists.
129 : : *
130 : : * Representor format:
131 : : * #: range or single number of VF representor - legacy
132 : : * [[c#]pf#]vf#: VF port representor/s
133 : : * [[c#]pf#]sf#: SF port representor/s
134 : : * [c#]pf#: PF port representor/s
135 : : *
136 : : * Examples of #:
137 : : * 2 - single
138 : : * [1,2,3] - single list
139 : : * [1,3-5,7,9-11] - list with singles and ranges
140 : : */
141 : : int
142 : 0 : rte_eth_devargs_parse_representor_ports(char *str, void *data)
143 : : {
144 : : struct rte_eth_devargs *eth_da = data;
145 : :
146 [ # # ]: 0 : if (str[0] == 'c') {
147 : 0 : str += 1;
148 : 0 : str = rte_eth_devargs_process_list(str, eth_da->mh_controllers,
149 : : ð_da->nb_mh_controllers,
150 : : RTE_DIM(eth_da->mh_controllers));
151 [ # # ]: 0 : if (str == NULL)
152 : 0 : goto done;
153 : : }
154 [ # # # # ]: 0 : if (str[0] == 'p' && str[1] == 'f') {
155 : 0 : eth_da->type = RTE_ETH_REPRESENTOR_PF;
156 : 0 : str += 2;
157 : 0 : str = rte_eth_devargs_process_list(str, eth_da->ports,
158 : : ð_da->nb_ports, RTE_DIM(eth_da->ports));
159 [ # # # # ]: 0 : if (str == NULL || str[0] == '\0')
160 : 0 : goto done;
161 [ # # ]: 0 : } else if (eth_da->nb_mh_controllers > 0) {
162 : : /* 'c' must followed by 'pf'. */
163 : : str = NULL;
164 : 0 : goto done;
165 : : }
166 [ # # # # ]: 0 : if (str[0] == 'v' && str[1] == 'f') {
167 : 0 : eth_da->type = RTE_ETH_REPRESENTOR_VF;
168 : 0 : str += 2;
169 [ # # # # ]: 0 : } else if (str[0] == 's' && str[1] == 'f') {
170 : 0 : eth_da->type = RTE_ETH_REPRESENTOR_SF;
171 : 0 : str += 2;
172 : : } else {
173 : : /* 'pf' must followed by 'vf' or 'sf'. */
174 [ # # ]: 0 : if (eth_da->type == RTE_ETH_REPRESENTOR_PF) {
175 : : str = NULL;
176 : 0 : goto done;
177 : : }
178 : 0 : eth_da->type = RTE_ETH_REPRESENTOR_VF;
179 : : }
180 : 0 : str = rte_eth_devargs_process_list(str, eth_da->representor_ports,
181 : : ð_da->nb_representor_ports,
182 : : RTE_DIM(eth_da->representor_ports));
183 : 0 : done:
184 [ # # ]: 0 : if (str == NULL)
185 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "wrong representor format: %s", str);
186 [ # # ]: 0 : return str == NULL ? -1 : 0;
187 : : }
188 : :
189 : : struct dummy_queue {
190 : : bool rx_warn_once;
191 : : bool tx_warn_once;
192 : : };
193 : : static struct dummy_queue *dummy_queues_array[RTE_MAX_ETHPORTS][RTE_MAX_QUEUES_PER_PORT];
194 : : static struct dummy_queue per_port_queues[RTE_MAX_ETHPORTS];
195 : 235 : RTE_INIT(dummy_queue_init)
196 : : {
197 : : uint16_t port_id;
198 : :
199 [ + + ]: 7755 : for (port_id = 0; port_id < RTE_DIM(per_port_queues); port_id++) {
200 : : unsigned int q;
201 : :
202 [ + + ]: 7708000 : for (q = 0; q < RTE_DIM(dummy_queues_array[port_id]); q++)
203 : 7700480 : dummy_queues_array[port_id][q] = &per_port_queues[port_id];
204 : : }
205 : 235 : }
206 : :
207 : : static uint16_t
208 : 0 : dummy_eth_rx_burst(void *rxq,
209 : : __rte_unused struct rte_mbuf **rx_pkts,
210 : : __rte_unused uint16_t nb_pkts)
211 : : {
212 : : struct dummy_queue *queue = rxq;
213 : : uintptr_t port_id;
214 : :
215 : 0 : port_id = queue - per_port_queues;
216 [ # # # # ]: 0 : if (port_id < RTE_DIM(per_port_queues) && !queue->rx_warn_once) {
217 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "lcore %u called rx_pkt_burst for not ready port %"PRIuPTR,
218 : : rte_lcore_id(), port_id);
219 : 0 : rte_dump_stack();
220 : 0 : queue->rx_warn_once = true;
221 : : }
222 : 0 : rte_errno = ENOTSUP;
223 : 0 : return 0;
224 : : }
225 : :
226 : : static uint16_t
227 : 0 : dummy_eth_tx_burst(void *txq,
228 : : __rte_unused struct rte_mbuf **tx_pkts,
229 : : __rte_unused uint16_t nb_pkts)
230 : : {
231 : : struct dummy_queue *queue = txq;
232 : : uintptr_t port_id;
233 : :
234 : 0 : port_id = queue - per_port_queues;
235 [ # # # # ]: 0 : if (port_id < RTE_DIM(per_port_queues) && !queue->tx_warn_once) {
236 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "lcore %u called tx_pkt_burst for not ready port %"PRIuPTR,
237 : : rte_lcore_id(), port_id);
238 : 0 : rte_dump_stack();
239 : 0 : queue->tx_warn_once = true;
240 : : }
241 : 0 : rte_errno = ENOTSUP;
242 : 0 : return 0;
243 : : }
244 : :
245 : : void
246 : 7547 : eth_dev_fp_ops_reset(struct rte_eth_fp_ops *fpo)
247 : : {
248 : : static RTE_ATOMIC(void *) dummy_data[RTE_MAX_QUEUES_PER_PORT];
249 : 7547 : uintptr_t port_id = fpo - rte_eth_fp_ops;
250 : :
251 : 7547 : per_port_queues[port_id].rx_warn_once = false;
252 : 7547 : per_port_queues[port_id].tx_warn_once = false;
253 : 7547 : *fpo = (struct rte_eth_fp_ops) {
254 : : .rx_pkt_burst = dummy_eth_rx_burst,
255 : : .tx_pkt_burst = dummy_eth_tx_burst,
256 : : .rxq = {
257 : 7547 : .data = (void **)&dummy_queues_array[port_id],
258 : : .clbk = dummy_data,
259 : : },
260 : : .txq = {
261 : : .data = (void **)&dummy_queues_array[port_id],
262 : : .clbk = dummy_data,
263 : : },
264 : : };
265 : 7547 : }
266 : :
267 : : void
268 : 10 : eth_dev_fp_ops_setup(struct rte_eth_fp_ops *fpo,
269 : : const struct rte_eth_dev *dev)
270 : : {
271 : 10 : fpo->rx_pkt_burst = dev->rx_pkt_burst;
272 : 10 : fpo->tx_pkt_burst = dev->tx_pkt_burst;
273 : 10 : fpo->tx_pkt_prepare = dev->tx_pkt_prepare;
274 : 10 : fpo->rx_queue_count = dev->rx_queue_count;
275 : 10 : fpo->rx_descriptor_status = dev->rx_descriptor_status;
276 : 10 : fpo->tx_descriptor_status = dev->tx_descriptor_status;
277 : 10 : fpo->recycle_tx_mbufs_reuse = dev->recycle_tx_mbufs_reuse;
278 : 10 : fpo->recycle_rx_descriptors_refill = dev->recycle_rx_descriptors_refill;
279 : :
280 : 10 : fpo->rxq.data = dev->data->rx_queues;
281 : 10 : fpo->rxq.clbk = (void * __rte_atomic *)(uintptr_t)dev->post_rx_burst_cbs;
282 : :
283 : 10 : fpo->txq.data = dev->data->tx_queues;
284 : 10 : fpo->txq.clbk = (void * __rte_atomic *)(uintptr_t)dev->pre_tx_burst_cbs;
285 : 10 : }
286 : :
287 : : uint16_t
288 : 1 : rte_eth_call_rx_callbacks(uint16_t port_id, uint16_t queue_id,
289 : : struct rte_mbuf **rx_pkts, uint16_t nb_rx, uint16_t nb_pkts,
290 : : void *opaque)
291 : : {
292 : : const struct rte_eth_rxtx_callback *cb = opaque;
293 : :
294 [ + + ]: 2 : while (cb != NULL) {
295 : 1 : nb_rx = cb->fn.rx(port_id, queue_id, rx_pkts, nb_rx,
296 : 1 : nb_pkts, cb->param);
297 : 1 : cb = cb->next;
298 : : }
299 : :
300 : : rte_eth_trace_call_rx_callbacks(port_id, queue_id, (void **)rx_pkts,
301 : : nb_rx, nb_pkts);
302 : :
303 : 1 : return nb_rx;
304 : : }
305 : :
306 : : uint16_t
307 : 1 : rte_eth_call_tx_callbacks(uint16_t port_id, uint16_t queue_id,
308 : : struct rte_mbuf **tx_pkts, uint16_t nb_pkts, void *opaque)
309 : : {
310 : : const struct rte_eth_rxtx_callback *cb = opaque;
311 : :
312 [ + + ]: 2 : while (cb != NULL) {
313 : 1 : nb_pkts = cb->fn.tx(port_id, queue_id, tx_pkts, nb_pkts,
314 : 1 : cb->param);
315 : 1 : cb = cb->next;
316 : : }
317 : :
318 : : rte_eth_trace_call_tx_callbacks(port_id, queue_id, (void **)tx_pkts,
319 : : nb_pkts);
320 : :
321 : 1 : return nb_pkts;
322 : : }
323 : :
324 : : void *
325 : 53 : eth_dev_shared_data_prepare(void)
326 : : {
327 : : const struct rte_memzone *mz;
328 : :
329 [ + - ]: 53 : if (rte_eal_process_type() == RTE_PROC_PRIMARY) {
330 : : const unsigned int flags = 0;
331 : :
332 [ + + ]: 53 : if (eth_dev_shared_mz != NULL)
333 : 43 : goto out;
334 : :
335 : : /* Allocate port data and ownership shared memory. */
336 : 10 : mz = rte_memzone_reserve(MZ_RTE_ETH_DEV_DATA,
337 : : sizeof(*eth_dev_shared_data),
338 : 10 : rte_socket_id(), flags);
339 [ - + ]: 10 : if (mz == NULL) {
340 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot allocate ethdev shared data");
341 : 0 : goto out;
342 : : }
343 : :
344 : 10 : eth_dev_shared_mz = mz;
345 : 10 : eth_dev_shared_data = mz->addr;
346 : 10 : eth_dev_shared_data->allocated_owners = 0;
347 : 10 : eth_dev_shared_data->next_owner_id =
348 : : RTE_ETH_DEV_NO_OWNER + 1;
349 : 10 : eth_dev_shared_data->allocated_ports = 0;
350 : 10 : memset(eth_dev_shared_data->data, 0,
351 : : sizeof(eth_dev_shared_data->data));
352 : : } else {
353 : 0 : mz = rte_memzone_lookup(MZ_RTE_ETH_DEV_DATA);
354 [ # # ]: 0 : if (mz == NULL) {
355 : : /* Clean remaining any traces of a previous shared mem */
356 : 0 : eth_dev_shared_mz = NULL;
357 : 0 : eth_dev_shared_data = NULL;
358 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot lookup ethdev shared data");
359 : 0 : goto out;
360 : : }
361 [ # # # # ]: 0 : if (mz == eth_dev_shared_mz && mz->addr == eth_dev_shared_data)
362 : 0 : goto out;
363 : :
364 : : /* Shared mem changed in primary process, refresh pointers */
365 : 0 : eth_dev_shared_mz = mz;
366 : 0 : eth_dev_shared_data = mz->addr;
367 : : }
368 : 53 : out:
369 : 53 : return eth_dev_shared_data;
370 : : }
371 : :
372 : : void
373 : 17 : eth_dev_shared_data_release(void)
374 : : {
375 : : RTE_ASSERT(rte_eal_process_type() == RTE_PROC_PRIMARY);
376 : :
377 [ + + ]: 17 : if (eth_dev_shared_data->allocated_ports != 0)
378 : : return;
379 [ + - ]: 9 : if (eth_dev_shared_data->allocated_owners != 0)
380 : : return;
381 : :
382 : 9 : rte_memzone_free(eth_dev_shared_mz);
383 : 9 : eth_dev_shared_mz = NULL;
384 : 9 : eth_dev_shared_data = NULL;
385 : : }
386 : :
387 : : void
388 : 45 : eth_dev_rxq_release(struct rte_eth_dev *dev, uint16_t qid)
389 : : {
390 : 45 : void **rxq = dev->data->rx_queues;
391 : :
392 [ + - ]: 45 : if (rxq[qid] == NULL)
393 : : return;
394 : :
395 [ - + ]: 45 : if (dev->dev_ops->rx_queue_release != NULL)
396 : 0 : (*dev->dev_ops->rx_queue_release)(dev, qid);
397 : 45 : rxq[qid] = NULL;
398 : : }
399 : :
400 : : void
401 : 45 : eth_dev_txq_release(struct rte_eth_dev *dev, uint16_t qid)
402 : : {
403 : 45 : void **txq = dev->data->tx_queues;
404 : :
405 [ + - ]: 45 : if (txq[qid] == NULL)
406 : : return;
407 : :
408 [ - + ]: 45 : if (dev->dev_ops->tx_queue_release != NULL)
409 : 0 : (*dev->dev_ops->tx_queue_release)(dev, qid);
410 : 45 : txq[qid] = NULL;
411 : : }
412 : :
413 : : int
414 : 15 : eth_dev_rx_queue_config(struct rte_eth_dev *dev, uint16_t nb_queues)
415 : : {
416 : 15 : uint16_t old_nb_queues = dev->data->nb_rx_queues;
417 : : unsigned int i;
418 : :
419 [ + + + - ]: 15 : if (dev->data->rx_queues == NULL && nb_queues != 0) { /* first time configuration */
420 : 2 : dev->data->rx_queues = rte_zmalloc("ethdev->rx_queues",
421 : : sizeof(dev->data->rx_queues[0]) *
422 : : RTE_MAX_QUEUES_PER_PORT,
423 : : RTE_CACHE_LINE_SIZE);
424 [ - + ]: 2 : if (dev->data->rx_queues == NULL) {
425 : 0 : dev->data->nb_rx_queues = 0;
426 : 0 : return -(ENOMEM);
427 : : }
428 [ + - + - ]: 13 : } else if (dev->data->rx_queues != NULL && nb_queues != 0) { /* re-configure */
429 [ + + ]: 18 : for (i = nb_queues; i < old_nb_queues; i++)
430 : 5 : eth_dev_rxq_release(dev, i);
431 : :
432 [ # # # # ]: 0 : } else if (dev->data->rx_queues != NULL && nb_queues == 0) {
433 [ # # ]: 0 : for (i = nb_queues; i < old_nb_queues; i++)
434 : 0 : eth_dev_rxq_release(dev, i);
435 : :
436 : 0 : rte_free(dev->data->rx_queues);
437 : 0 : dev->data->rx_queues = NULL;
438 : : }
439 : 15 : dev->data->nb_rx_queues = nb_queues;
440 : 15 : return 0;
441 : : }
442 : :
443 : : int
444 : 15 : eth_dev_tx_queue_config(struct rte_eth_dev *dev, uint16_t nb_queues)
445 : : {
446 : 15 : uint16_t old_nb_queues = dev->data->nb_tx_queues;
447 : : unsigned int i;
448 : :
449 [ + + + - ]: 15 : if (dev->data->tx_queues == NULL && nb_queues != 0) { /* first time configuration */
450 : 2 : dev->data->tx_queues = rte_zmalloc("ethdev->tx_queues",
451 : : sizeof(dev->data->tx_queues[0]) *
452 : : RTE_MAX_QUEUES_PER_PORT,
453 : : RTE_CACHE_LINE_SIZE);
454 [ - + ]: 2 : if (dev->data->tx_queues == NULL) {
455 : 0 : dev->data->nb_tx_queues = 0;
456 : 0 : return -(ENOMEM);
457 : : }
458 [ + - + - ]: 13 : } else if (dev->data->tx_queues != NULL && nb_queues != 0) { /* re-configure */
459 [ + + ]: 18 : for (i = nb_queues; i < old_nb_queues; i++)
460 : 5 : eth_dev_txq_release(dev, i);
461 : :
462 [ # # # # ]: 0 : } else if (dev->data->tx_queues != NULL && nb_queues == 0) {
463 [ # # ]: 0 : for (i = nb_queues; i < old_nb_queues; i++)
464 : 0 : eth_dev_txq_release(dev, i);
465 : :
466 : 0 : rte_free(dev->data->tx_queues);
467 : 0 : dev->data->tx_queues = NULL;
468 : : }
469 : 15 : dev->data->nb_tx_queues = nb_queues;
470 : 15 : return 0;
471 : : }
|