Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright(c) 2010-2017 Intel Corporation
3 : : */
4 : :
5 : : #include <errno.h>
6 : : #include <inttypes.h>
7 : : #include <stdbool.h>
8 : : #include <stdint.h>
9 : : #include <stdio.h>
10 : : #include <stdlib.h>
11 : : #include <string.h>
12 : : #include <sys/queue.h>
13 : :
14 : : #include <bus_driver.h>
15 : : #include <rte_log.h>
16 : : #include <rte_interrupts.h>
17 : : #include <rte_kvargs.h>
18 : : #include <rte_memcpy.h>
19 : : #include <rte_common.h>
20 : : #include <rte_mempool.h>
21 : : #include <rte_malloc.h>
22 : : #include <rte_mbuf.h>
23 : : #include <rte_errno.h>
24 : : #include <rte_spinlock.h>
25 : : #include <rte_string_fns.h>
26 : : #include <rte_class.h>
27 : : #include <rte_ether.h>
28 : : #include <rte_telemetry.h>
29 : :
30 : : #include "rte_ethdev.h"
31 : : #include "rte_ethdev_trace_fp.h"
32 : : #include "ethdev_driver.h"
33 : : #include "rte_flow_driver.h"
34 : : #include "ethdev_profile.h"
35 : : #include "ethdev_private.h"
36 : : #include "ethdev_trace.h"
37 : : #include "sff_telemetry.h"
38 : :
39 : : #define ETH_XSTATS_ITER_NUM 0x100
40 : :
41 : : struct rte_eth_dev rte_eth_devices[RTE_MAX_ETHPORTS];
42 : :
43 : : /* public fast-path API */
44 : : struct rte_eth_fp_ops rte_eth_fp_ops[RTE_MAX_ETHPORTS];
45 : :
46 : : /* spinlock for add/remove Rx callbacks */
47 : : static rte_spinlock_t eth_dev_rx_cb_lock = RTE_SPINLOCK_INITIALIZER;
48 : :
49 : : /* spinlock for add/remove Tx callbacks */
50 : : static rte_spinlock_t eth_dev_tx_cb_lock = RTE_SPINLOCK_INITIALIZER;
51 : :
52 : : /* store statistics names and its offset in stats structure */
53 : : struct rte_eth_xstats_name_off {
54 : : char name[RTE_ETH_XSTATS_NAME_SIZE];
55 : : unsigned offset;
56 : : };
57 : :
58 : : static const struct rte_eth_xstats_name_off eth_dev_stats_strings[] = {
59 : : {"rx_good_packets", offsetof(struct rte_eth_stats, ipackets)},
60 : : {"tx_good_packets", offsetof(struct rte_eth_stats, opackets)},
61 : : {"rx_good_bytes", offsetof(struct rte_eth_stats, ibytes)},
62 : : {"tx_good_bytes", offsetof(struct rte_eth_stats, obytes)},
63 : : {"rx_missed_errors", offsetof(struct rte_eth_stats, imissed)},
64 : : {"rx_errors", offsetof(struct rte_eth_stats, ierrors)},
65 : : {"tx_errors", offsetof(struct rte_eth_stats, oerrors)},
66 : : {"rx_mbuf_allocation_errors", offsetof(struct rte_eth_stats,
67 : : rx_nombuf)},
68 : : };
69 : :
70 : : #define RTE_NB_STATS RTE_DIM(eth_dev_stats_strings)
71 : :
72 : : static const struct rte_eth_xstats_name_off eth_dev_rxq_stats_strings[] = {
73 : : {"packets", offsetof(struct rte_eth_stats, q_ipackets)},
74 : : {"bytes", offsetof(struct rte_eth_stats, q_ibytes)},
75 : : {"errors", offsetof(struct rte_eth_stats, q_errors)},
76 : : };
77 : :
78 : : #define RTE_NB_RXQ_STATS RTE_DIM(eth_dev_rxq_stats_strings)
79 : :
80 : : static const struct rte_eth_xstats_name_off eth_dev_txq_stats_strings[] = {
81 : : {"packets", offsetof(struct rte_eth_stats, q_opackets)},
82 : : {"bytes", offsetof(struct rte_eth_stats, q_obytes)},
83 : : };
84 : : #define RTE_NB_TXQ_STATS RTE_DIM(eth_dev_txq_stats_strings)
85 : :
86 : : #define RTE_RX_OFFLOAD_BIT2STR(_name) \
87 : : { RTE_ETH_RX_OFFLOAD_##_name, #_name }
88 : :
89 : : static const struct {
90 : : uint64_t offload;
91 : : const char *name;
92 : : } eth_dev_rx_offload_names[] = {
93 : : RTE_RX_OFFLOAD_BIT2STR(VLAN_STRIP),
94 : : RTE_RX_OFFLOAD_BIT2STR(IPV4_CKSUM),
95 : : RTE_RX_OFFLOAD_BIT2STR(UDP_CKSUM),
96 : : RTE_RX_OFFLOAD_BIT2STR(TCP_CKSUM),
97 : : RTE_RX_OFFLOAD_BIT2STR(TCP_LRO),
98 : : RTE_RX_OFFLOAD_BIT2STR(QINQ_STRIP),
99 : : RTE_RX_OFFLOAD_BIT2STR(OUTER_IPV4_CKSUM),
100 : : RTE_RX_OFFLOAD_BIT2STR(MACSEC_STRIP),
101 : : RTE_RX_OFFLOAD_BIT2STR(VLAN_FILTER),
102 : : RTE_RX_OFFLOAD_BIT2STR(VLAN_EXTEND),
103 : : RTE_RX_OFFLOAD_BIT2STR(SCATTER),
104 : : RTE_RX_OFFLOAD_BIT2STR(TIMESTAMP),
105 : : RTE_RX_OFFLOAD_BIT2STR(SECURITY),
106 : : RTE_RX_OFFLOAD_BIT2STR(KEEP_CRC),
107 : : RTE_RX_OFFLOAD_BIT2STR(SCTP_CKSUM),
108 : : RTE_RX_OFFLOAD_BIT2STR(OUTER_UDP_CKSUM),
109 : : RTE_RX_OFFLOAD_BIT2STR(RSS_HASH),
110 : : RTE_RX_OFFLOAD_BIT2STR(BUFFER_SPLIT),
111 : : };
112 : :
113 : : #undef RTE_RX_OFFLOAD_BIT2STR
114 : : #undef RTE_ETH_RX_OFFLOAD_BIT2STR
115 : :
116 : : #define RTE_TX_OFFLOAD_BIT2STR(_name) \
117 : : { RTE_ETH_TX_OFFLOAD_##_name, #_name }
118 : :
119 : : static const struct {
120 : : uint64_t offload;
121 : : const char *name;
122 : : } eth_dev_tx_offload_names[] = {
123 : : RTE_TX_OFFLOAD_BIT2STR(VLAN_INSERT),
124 : : RTE_TX_OFFLOAD_BIT2STR(IPV4_CKSUM),
125 : : RTE_TX_OFFLOAD_BIT2STR(UDP_CKSUM),
126 : : RTE_TX_OFFLOAD_BIT2STR(TCP_CKSUM),
127 : : RTE_TX_OFFLOAD_BIT2STR(SCTP_CKSUM),
128 : : RTE_TX_OFFLOAD_BIT2STR(TCP_TSO),
129 : : RTE_TX_OFFLOAD_BIT2STR(UDP_TSO),
130 : : RTE_TX_OFFLOAD_BIT2STR(OUTER_IPV4_CKSUM),
131 : : RTE_TX_OFFLOAD_BIT2STR(QINQ_INSERT),
132 : : RTE_TX_OFFLOAD_BIT2STR(VXLAN_TNL_TSO),
133 : : RTE_TX_OFFLOAD_BIT2STR(GRE_TNL_TSO),
134 : : RTE_TX_OFFLOAD_BIT2STR(IPIP_TNL_TSO),
135 : : RTE_TX_OFFLOAD_BIT2STR(GENEVE_TNL_TSO),
136 : : RTE_TX_OFFLOAD_BIT2STR(MACSEC_INSERT),
137 : : RTE_TX_OFFLOAD_BIT2STR(MT_LOCKFREE),
138 : : RTE_TX_OFFLOAD_BIT2STR(MULTI_SEGS),
139 : : RTE_TX_OFFLOAD_BIT2STR(MBUF_FAST_FREE),
140 : : RTE_TX_OFFLOAD_BIT2STR(SECURITY),
141 : : RTE_TX_OFFLOAD_BIT2STR(UDP_TNL_TSO),
142 : : RTE_TX_OFFLOAD_BIT2STR(IP_TNL_TSO),
143 : : RTE_TX_OFFLOAD_BIT2STR(OUTER_UDP_CKSUM),
144 : : RTE_TX_OFFLOAD_BIT2STR(SEND_ON_TIMESTAMP),
145 : : };
146 : :
147 : : #undef RTE_TX_OFFLOAD_BIT2STR
148 : :
149 : : static const struct {
150 : : uint64_t offload;
151 : : const char *name;
152 : : } rte_eth_dev_capa_names[] = {
153 : : {RTE_ETH_DEV_CAPA_RUNTIME_RX_QUEUE_SETUP, "RUNTIME_RX_QUEUE_SETUP"},
154 : : {RTE_ETH_DEV_CAPA_RUNTIME_TX_QUEUE_SETUP, "RUNTIME_TX_QUEUE_SETUP"},
155 : : {RTE_ETH_DEV_CAPA_RXQ_SHARE, "RXQ_SHARE"},
156 : : {RTE_ETH_DEV_CAPA_FLOW_RULE_KEEP, "FLOW_RULE_KEEP"},
157 : : {RTE_ETH_DEV_CAPA_FLOW_SHARED_OBJECT_KEEP, "FLOW_SHARED_OBJECT_KEEP"},
158 : : };
159 : :
160 : : enum {
161 : : STAT_QMAP_TX = 0,
162 : : STAT_QMAP_RX
163 : : };
164 : :
165 : : static const struct {
166 : : enum rte_eth_hash_function algo;
167 : : const char *name;
168 : : } rte_eth_dev_rss_algo_names[] = {
169 : : {RTE_ETH_HASH_FUNCTION_DEFAULT, "default"},
170 : : {RTE_ETH_HASH_FUNCTION_SIMPLE_XOR, "simple_xor"},
171 : : {RTE_ETH_HASH_FUNCTION_TOEPLITZ, "toeplitz"},
172 : : {RTE_ETH_HASH_FUNCTION_SYMMETRIC_TOEPLITZ, "symmetric_toeplitz"},
173 : : {RTE_ETH_HASH_FUNCTION_SYMMETRIC_TOEPLITZ_SORT, "symmetric_toeplitz_sort"},
174 : : };
175 : :
176 : : int
177 : 0 : rte_eth_iterator_init(struct rte_dev_iterator *iter, const char *devargs_str)
178 : : {
179 : : int ret;
180 : : struct rte_devargs devargs;
181 : : const char *bus_param_key;
182 : : char *bus_str = NULL;
183 : : char *cls_str = NULL;
184 : : int str_size;
185 : :
186 [ # # ]: 0 : if (iter == NULL) {
187 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot initialize NULL iterator");
188 : 0 : return -EINVAL;
189 : : }
190 : :
191 [ # # ]: 0 : if (devargs_str == NULL) {
192 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
193 : : "Cannot initialize iterator from NULL device description string");
194 : 0 : return -EINVAL;
195 : : }
196 : :
197 : : memset(iter, 0, sizeof(*iter));
198 : : memset(&devargs, 0, sizeof(devargs));
199 : :
200 : : /*
201 : : * The devargs string may use various syntaxes:
202 : : * - 0000:08:00.0,representor=[1-3]
203 : : * - pci:0000:06:00.0,representor=[0,5]
204 : : * - class=eth,mac=00:11:22:33:44:55
205 : : * - bus=X,paramX=x/class=Y,paramY=y/driver=Z,paramZ=z
206 : : */
207 : :
208 : : /*
209 : : * Handle pure class filter (i.e. without any bus-level argument),
210 : : * from future new syntax.
211 : : * rte_devargs_parse() is not yet supporting the new syntax,
212 : : * that's why this simple case is temporarily parsed here.
213 : : */
214 : : #define iter_anybus_str "class=eth,"
215 [ # # ]: 0 : if (strncmp(devargs_str, iter_anybus_str,
216 : : strlen(iter_anybus_str)) == 0) {
217 : 0 : iter->cls_str = devargs_str + strlen(iter_anybus_str);
218 : 0 : goto end;
219 : : }
220 : :
221 : : /* Split bus, device and parameters. */
222 : 0 : ret = rte_devargs_parse(&devargs, devargs_str);
223 [ # # ]: 0 : if (ret != 0)
224 : 0 : goto error;
225 : :
226 : : /*
227 : : * Assume parameters of old syntax can match only at ethdev level.
228 : : * Extra parameters will be ignored, thanks to "+" prefix.
229 : : */
230 : 0 : str_size = strlen(devargs.args) + 2;
231 : 0 : cls_str = malloc(str_size);
232 [ # # ]: 0 : if (cls_str == NULL) {
233 : : ret = -ENOMEM;
234 : 0 : goto error;
235 : : }
236 : : ret = snprintf(cls_str, str_size, "+%s", devargs.args);
237 [ # # ]: 0 : if (ret != str_size - 1) {
238 : : ret = -EINVAL;
239 : 0 : goto error;
240 : : }
241 : 0 : iter->cls_str = cls_str;
242 : :
243 : 0 : iter->bus = devargs.bus;
244 [ # # ]: 0 : if (iter->bus->dev_iterate == NULL) {
245 : : ret = -ENOTSUP;
246 : 0 : goto error;
247 : : }
248 : :
249 : : /* Convert bus args to new syntax for use with new API dev_iterate. */
250 [ # # ]: 0 : if ((strcmp(iter->bus->name, "vdev") == 0) ||
251 [ # # ]: 0 : (strcmp(iter->bus->name, "fslmc") == 0) ||
252 [ # # ]: 0 : (strcmp(iter->bus->name, "dpaa_bus") == 0)) {
253 : : bus_param_key = "name";
254 [ # # ]: 0 : } else if (strcmp(iter->bus->name, "pci") == 0) {
255 : : bus_param_key = "addr";
256 : : } else {
257 : : ret = -ENOTSUP;
258 : 0 : goto error;
259 : : }
260 : 0 : str_size = strlen(bus_param_key) + strlen(devargs.name) + 2;
261 : 0 : bus_str = malloc(str_size);
262 [ # # ]: 0 : if (bus_str == NULL) {
263 : : ret = -ENOMEM;
264 : 0 : goto error;
265 : : }
266 : : ret = snprintf(bus_str, str_size, "%s=%s",
267 : : bus_param_key, devargs.name);
268 [ # # ]: 0 : if (ret != str_size - 1) {
269 : : ret = -EINVAL;
270 : 0 : goto error;
271 : : }
272 : 0 : iter->bus_str = bus_str;
273 : :
274 : 0 : end:
275 : 0 : iter->cls = rte_class_find_by_name("eth");
276 : 0 : rte_devargs_reset(&devargs);
277 : :
278 : : rte_eth_trace_iterator_init(devargs_str);
279 : :
280 : : return 0;
281 : :
282 : 0 : error:
283 [ # # ]: 0 : if (ret == -ENOTSUP)
284 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Bus %s does not support iterating.",
285 : : iter->bus->name);
286 : 0 : rte_devargs_reset(&devargs);
287 : 0 : free(bus_str);
288 : 0 : free(cls_str);
289 : 0 : return ret;
290 : : }
291 : :
292 : : uint16_t
293 : 0 : rte_eth_iterator_next(struct rte_dev_iterator *iter)
294 : : {
295 [ # # ]: 0 : if (iter == NULL) {
296 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
297 : : "Cannot get next device from NULL iterator");
298 : 0 : return RTE_MAX_ETHPORTS;
299 : : }
300 : :
301 [ # # ]: 0 : if (iter->cls == NULL) /* invalid ethdev iterator */
302 : : return RTE_MAX_ETHPORTS;
303 : :
304 : : do { /* loop to try all matching rte_device */
305 : : /* If not pure ethdev filter and */
306 [ # # ]: 0 : if (iter->bus != NULL &&
307 : : /* not in middle of rte_eth_dev iteration, */
308 [ # # ]: 0 : iter->class_device == NULL) {
309 : : /* get next rte_device to try. */
310 : 0 : iter->device = iter->bus->dev_iterate(
311 : 0 : iter->device, iter->bus_str, iter);
312 [ # # ]: 0 : if (iter->device == NULL)
313 : : break; /* no more rte_device candidate */
314 : : }
315 : : /* A device is matching bus part, need to check ethdev part. */
316 : 0 : iter->class_device = iter->cls->dev_iterate(
317 : 0 : iter->class_device, iter->cls_str, iter);
318 [ # # ]: 0 : if (iter->class_device != NULL) {
319 : 0 : uint16_t id = eth_dev_to_id(iter->class_device);
320 : :
321 : 0 : rte_eth_trace_iterator_next(iter, id);
322 : :
323 : 0 : return id; /* match */
324 : : }
325 [ # # ]: 0 : } while (iter->bus != NULL); /* need to try next rte_device */
326 : :
327 : : /* No more ethdev port to iterate. */
328 : 0 : rte_eth_iterator_cleanup(iter);
329 : 0 : return RTE_MAX_ETHPORTS;
330 : : }
331 : :
332 : : void
333 : 0 : rte_eth_iterator_cleanup(struct rte_dev_iterator *iter)
334 : : {
335 [ # # ]: 0 : if (iter == NULL) {
336 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot do clean up from NULL iterator");
337 : 0 : return;
338 : : }
339 : :
340 [ # # ]: 0 : if (iter->bus_str == NULL)
341 : : return; /* nothing to free in pure class filter */
342 : :
343 : 0 : rte_eth_trace_iterator_cleanup(iter);
344 : :
345 : 0 : free(RTE_CAST_FIELD(iter, bus_str, char *)); /* workaround const */
346 : 0 : free(RTE_CAST_FIELD(iter, cls_str, char *)); /* workaround const */
347 : : memset(iter, 0, sizeof(*iter));
348 : : }
349 : :
350 : : uint16_t
351 : 12579 : rte_eth_find_next(uint16_t port_id)
352 : : {
353 [ + + ]: 138126 : while (port_id < RTE_MAX_ETHPORTS &&
354 [ + + ]: 133941 : rte_eth_devices[port_id].state == RTE_ETH_DEV_UNUSED)
355 : 125547 : port_id++;
356 : :
357 [ + + ]: 12579 : if (port_id >= RTE_MAX_ETHPORTS)
358 : : return RTE_MAX_ETHPORTS;
359 : :
360 : 8394 : rte_eth_trace_find_next(port_id);
361 : :
362 : 8394 : return port_id;
363 : : }
364 : :
365 : : /*
366 : : * Macro to iterate over all valid ports for internal usage.
367 : : * Note: RTE_ETH_FOREACH_DEV is different because filtering owned ports.
368 : : */
369 : : #define RTE_ETH_FOREACH_VALID_DEV(port_id) \
370 : : for (port_id = rte_eth_find_next(0); \
371 : : port_id < RTE_MAX_ETHPORTS; \
372 : : port_id = rte_eth_find_next(port_id + 1))
373 : :
374 : : uint16_t
375 : 0 : rte_eth_find_next_of(uint16_t port_id, const struct rte_device *parent)
376 : : {
377 : 0 : port_id = rte_eth_find_next(port_id);
378 [ # # ]: 0 : while (port_id < RTE_MAX_ETHPORTS &&
379 [ # # ]: 0 : rte_eth_devices[port_id].device != parent)
380 : 0 : port_id = rte_eth_find_next(port_id + 1);
381 : :
382 : 0 : rte_eth_trace_find_next_of(port_id, parent);
383 : :
384 : 0 : return port_id;
385 : : }
386 : :
387 : : uint16_t
388 : 0 : rte_eth_find_next_sibling(uint16_t port_id, uint16_t ref_port_id)
389 : : {
390 : : uint16_t ret;
391 : :
392 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(ref_port_id, RTE_MAX_ETHPORTS);
393 : 0 : ret = rte_eth_find_next_of(port_id,
394 : 0 : rte_eth_devices[ref_port_id].device);
395 : :
396 : 0 : rte_eth_trace_find_next_sibling(port_id, ref_port_id, ret);
397 : :
398 : 0 : return ret;
399 : : }
400 : :
401 : : static bool
402 : : eth_dev_is_allocated(const struct rte_eth_dev *ethdev)
403 : : {
404 [ - + - - : 118 : return ethdev->data != NULL && ethdev->data->name[0] != '\0';
- - - - ]
405 : : }
406 : :
407 : : int
408 : 342 : rte_eth_dev_is_valid_port(uint16_t port_id)
409 : : {
410 : : int is_valid;
411 : :
412 [ + + ]: 342 : if (port_id >= RTE_MAX_ETHPORTS ||
413 [ + + ]: 340 : (rte_eth_devices[port_id].state == RTE_ETH_DEV_UNUSED))
414 : : is_valid = 0;
415 : : else
416 : : is_valid = 1;
417 : :
418 : 342 : rte_ethdev_trace_is_valid_port(port_id, is_valid);
419 : :
420 : 342 : return is_valid;
421 : : }
422 : :
423 : : static int
424 : : eth_is_valid_owner_id(uint64_t owner_id)
425 : : __rte_requires_capability(rte_mcfg_ethdev_get_lock())
426 : : {
427 [ # # # # ]: 0 : if (owner_id == RTE_ETH_DEV_NO_OWNER ||
428 [ # # # # : 0 : eth_dev_shared_data->next_owner_id <= owner_id)
# # ]
429 : : return 0;
430 : : return 1;
431 : : }
432 : :
433 : : uint64_t
434 : 12549 : rte_eth_find_next_owned_by(uint16_t port_id, const uint64_t owner_id)
435 : : {
436 : 12549 : port_id = rte_eth_find_next(port_id);
437 [ + + ]: 12549 : while (port_id < RTE_MAX_ETHPORTS &&
438 [ - + ]: 8367 : rte_eth_devices[port_id].data->owner.id != owner_id)
439 : 0 : port_id = rte_eth_find_next(port_id + 1);
440 : :
441 : 12549 : rte_eth_trace_find_next_owned_by(port_id, owner_id);
442 : :
443 : 12549 : return port_id;
444 : : }
445 : :
446 : : int
447 : 0 : rte_eth_dev_owner_new(uint64_t *owner_id)
448 : : {
449 : : int ret;
450 : :
451 [ # # ]: 0 : if (owner_id == NULL) {
452 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot get new owner ID to NULL");
453 : 0 : return -EINVAL;
454 : : }
455 : :
456 : 0 : rte_spinlock_lock(rte_mcfg_ethdev_get_lock());
457 : :
458 [ # # ]: 0 : if (eth_dev_shared_data_prepare() != NULL) {
459 : 0 : *owner_id = eth_dev_shared_data->next_owner_id++;
460 : 0 : eth_dev_shared_data->allocated_owners++;
461 : : ret = 0;
462 : : } else {
463 : : ret = -ENOMEM;
464 : : }
465 : :
466 : 0 : rte_spinlock_unlock(rte_mcfg_ethdev_get_lock());
467 : :
468 [ # # ]: 0 : rte_ethdev_trace_owner_new(*owner_id, ret);
469 : :
470 : 0 : return ret;
471 : : }
472 : :
473 : : static int
474 : 0 : eth_dev_owner_set(const uint16_t port_id, const uint64_t old_owner_id,
475 : : const struct rte_eth_dev_owner *new_owner)
476 : : __rte_requires_capability(rte_mcfg_ethdev_get_lock())
477 : : {
478 : 0 : struct rte_eth_dev *ethdev = &rte_eth_devices[port_id];
479 : : struct rte_eth_dev_owner *port_owner;
480 : :
481 [ # # # # ]: 0 : if (port_id >= RTE_MAX_ETHPORTS || !eth_dev_is_allocated(ethdev)) {
482 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Port ID %"PRIu16" is not allocated",
483 : : port_id);
484 : 0 : return -ENODEV;
485 : : }
486 : :
487 [ # # ]: 0 : if (new_owner == NULL) {
488 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
489 : : "Cannot set ethdev port %u owner from NULL owner",
490 : : port_id);
491 : 0 : return -EINVAL;
492 : : }
493 : :
494 [ # # ]: 0 : if (!eth_is_valid_owner_id(new_owner->id) &&
495 : : !eth_is_valid_owner_id(old_owner_id)) {
496 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
497 : : "Invalid owner old_id=%016"PRIx64" new_id=%016"PRIx64,
498 : : old_owner_id, new_owner->id);
499 : 0 : return -EINVAL;
500 : : }
501 : :
502 : : port_owner = &rte_eth_devices[port_id].data->owner;
503 [ # # ]: 0 : if (port_owner->id != old_owner_id) {
504 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
505 : : "Cannot set owner to port %u already owned by %s_%016"PRIX64,
506 : : port_id, port_owner->name, port_owner->id);
507 : 0 : return -EPERM;
508 : : }
509 : :
510 : : /* can not truncate (same structure) */
511 : 0 : strlcpy(port_owner->name, new_owner->name, RTE_ETH_MAX_OWNER_NAME_LEN);
512 : :
513 : 0 : port_owner->id = new_owner->id;
514 : :
515 : 0 : RTE_ETHDEV_LOG_LINE(DEBUG, "Port %u owner is %s_%016"PRIx64,
516 : : port_id, new_owner->name, new_owner->id);
517 : :
518 : 0 : return 0;
519 : : }
520 : :
521 : : int
522 : 0 : rte_eth_dev_owner_set(const uint16_t port_id,
523 : : const struct rte_eth_dev_owner *owner)
524 : : {
525 : : int ret;
526 : :
527 : 0 : rte_spinlock_lock(rte_mcfg_ethdev_get_lock());
528 : :
529 [ # # ]: 0 : if (eth_dev_shared_data_prepare() != NULL)
530 : 0 : ret = eth_dev_owner_set(port_id, RTE_ETH_DEV_NO_OWNER, owner);
531 : : else
532 : : ret = -ENOMEM;
533 : :
534 : 0 : rte_spinlock_unlock(rte_mcfg_ethdev_get_lock());
535 : :
536 : 0 : rte_ethdev_trace_owner_set(port_id, owner, ret);
537 : :
538 : 0 : return ret;
539 : : }
540 : :
541 : : int
542 : 0 : rte_eth_dev_owner_unset(const uint16_t port_id, const uint64_t owner_id)
543 : : {
544 : 0 : const struct rte_eth_dev_owner new_owner = (struct rte_eth_dev_owner)
545 : : {.id = RTE_ETH_DEV_NO_OWNER, .name = ""};
546 : : int ret;
547 : :
548 : 0 : rte_spinlock_lock(rte_mcfg_ethdev_get_lock());
549 : :
550 [ # # ]: 0 : if (eth_dev_shared_data_prepare() != NULL)
551 : 0 : ret = eth_dev_owner_set(port_id, owner_id, &new_owner);
552 : : else
553 : : ret = -ENOMEM;
554 : :
555 : 0 : rte_spinlock_unlock(rte_mcfg_ethdev_get_lock());
556 : :
557 : 0 : rte_ethdev_trace_owner_unset(port_id, owner_id, ret);
558 : :
559 : 0 : return ret;
560 : : }
561 : :
562 : : int
563 : 0 : rte_eth_dev_owner_delete(const uint64_t owner_id)
564 : : {
565 : : uint16_t port_id;
566 : : int ret = 0;
567 : :
568 : 0 : rte_spinlock_lock(rte_mcfg_ethdev_get_lock());
569 : :
570 [ # # ]: 0 : if (eth_dev_shared_data_prepare() == NULL) {
571 : : ret = -ENOMEM;
572 : : } else if (eth_is_valid_owner_id(owner_id)) {
573 [ # # ]: 0 : for (port_id = 0; port_id < RTE_MAX_ETHPORTS; port_id++) {
574 : 0 : struct rte_eth_dev_data *data =
575 : 0 : rte_eth_devices[port_id].data;
576 [ # # # # ]: 0 : if (data != NULL && data->owner.id == owner_id)
577 : 0 : memset(&data->owner, 0,
578 : : sizeof(struct rte_eth_dev_owner));
579 : : }
580 : 0 : RTE_ETHDEV_LOG_LINE(NOTICE,
581 : : "All port owners owned by %016"PRIx64" identifier have removed",
582 : : owner_id);
583 : 0 : eth_dev_shared_data->allocated_owners--;
584 : 0 : eth_dev_shared_data_release();
585 : : } else {
586 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
587 : : "Invalid owner ID=%016"PRIx64,
588 : : owner_id);
589 : : ret = -EINVAL;
590 : : }
591 : :
592 : 0 : rte_spinlock_unlock(rte_mcfg_ethdev_get_lock());
593 : :
594 : 0 : rte_ethdev_trace_owner_delete(owner_id, ret);
595 : :
596 : 0 : return ret;
597 : : }
598 : :
599 : : int
600 : 0 : rte_eth_dev_owner_get(const uint16_t port_id, struct rte_eth_dev_owner *owner)
601 : : {
602 : : struct rte_eth_dev *ethdev;
603 : : int ret;
604 : :
605 [ # # ]: 0 : if (port_id >= RTE_MAX_ETHPORTS)
606 : : return -ENODEV;
607 : :
608 [ # # ]: 0 : ethdev = &rte_eth_devices[port_id];
609 [ # # ]: 0 : if (!eth_dev_is_allocated(ethdev)) {
610 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Port ID %"PRIu16" is not allocated",
611 : : port_id);
612 : 0 : return -ENODEV;
613 : : }
614 : :
615 [ # # ]: 0 : if (owner == NULL) {
616 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot get ethdev port %u owner to NULL",
617 : : port_id);
618 : 0 : return -EINVAL;
619 : : }
620 : :
621 : 0 : rte_spinlock_lock(rte_mcfg_ethdev_get_lock());
622 : :
623 [ # # ]: 0 : if (eth_dev_shared_data_prepare() != NULL) {
624 [ # # ]: 0 : rte_memcpy(owner, ðdev->data->owner, sizeof(*owner));
625 : : ret = 0;
626 : : } else {
627 : : ret = -ENOMEM;
628 : : }
629 : :
630 : 0 : rte_spinlock_unlock(rte_mcfg_ethdev_get_lock());
631 : :
632 : 0 : rte_ethdev_trace_owner_get(port_id, owner, ret);
633 : :
634 : 0 : return ret;
635 : : }
636 : :
637 : : int
638 : 118 : rte_eth_dev_socket_id(uint16_t port_id)
639 : : {
640 : : int socket_id = SOCKET_ID_ANY;
641 : : struct rte_eth_dev *ethdev;
642 : :
643 [ - + ]: 118 : if (port_id >= RTE_MAX_ETHPORTS) {
644 : 0 : rte_errno = EINVAL;
645 : 0 : return socket_id;
646 : : }
647 : :
648 [ + - ]: 118 : ethdev = &rte_eth_devices[port_id];
649 [ - + ]: 118 : if (!eth_dev_is_allocated(ethdev)) {
650 : 0 : rte_errno = EINVAL;
651 : : } else {
652 : 118 : socket_id = rte_eth_devices[port_id].data->numa_node;
653 [ - + ]: 118 : if (socket_id == SOCKET_ID_ANY)
654 : 0 : rte_errno = 0;
655 : : }
656 : :
657 : 118 : rte_ethdev_trace_socket_id(port_id, socket_id);
658 : :
659 : 118 : return socket_id;
660 : : }
661 : :
662 : : void *
663 : 0 : rte_eth_dev_get_sec_ctx(uint16_t port_id)
664 : : {
665 : : void *ctx;
666 : :
667 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, NULL);
668 [ # # ]: 0 : ctx = rte_eth_devices[port_id].security_ctx;
669 : :
670 : 0 : rte_ethdev_trace_get_sec_ctx(port_id, ctx);
671 : :
672 : 0 : return ctx;
673 : : }
674 : :
675 : : uint16_t
676 : 75 : rte_eth_dev_count_avail(void)
677 : : {
678 : : uint16_t p;
679 : : uint16_t count;
680 : :
681 : : count = 0;
682 : :
683 [ + + ]: 224 : RTE_ETH_FOREACH_DEV(p)
684 : 149 : count++;
685 : :
686 : 75 : rte_ethdev_trace_count_avail(count);
687 : :
688 : 75 : return count;
689 : : }
690 : :
691 : : uint16_t
692 : 3 : rte_eth_dev_count_total(void)
693 : : {
694 : : uint16_t port, count = 0;
695 : :
696 [ + + ]: 9 : RTE_ETH_FOREACH_VALID_DEV(port)
697 : 6 : count++;
698 : :
699 : 3 : rte_ethdev_trace_count_total(count);
700 : :
701 : 3 : return count;
702 : : }
703 : :
704 : : int
705 : 2 : rte_eth_dev_get_name_by_port(uint16_t port_id, char *name)
706 : : {
707 : : char *tmp;
708 : :
709 [ - + ]: 2 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
710 : :
711 [ - + ]: 2 : if (name == NULL) {
712 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot get ethdev port %u name to NULL",
713 : : port_id);
714 : 0 : return -EINVAL;
715 : : }
716 : :
717 : 2 : rte_spinlock_lock(rte_mcfg_ethdev_get_lock());
718 : : /* shouldn't check 'rte_eth_devices[i].data',
719 : : * because it might be overwritten by VDEV PMD */
720 : 2 : tmp = eth_dev_shared_data->data[port_id].name;
721 : 2 : rte_spinlock_unlock(rte_mcfg_ethdev_get_lock());
722 : :
723 : : strcpy(name, tmp);
724 : :
725 : 2 : rte_ethdev_trace_get_name_by_port(port_id, name);
726 : :
727 : 2 : return 0;
728 : : }
729 : :
730 : : int
731 : 10 : rte_eth_dev_get_port_by_name(const char *name, uint16_t *port_id)
732 : : {
733 : : int ret = -ENODEV;
734 : : uint16_t pid;
735 : :
736 [ - + ]: 10 : if (name == NULL) {
737 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot get port ID from NULL name");
738 : 0 : return -EINVAL;
739 : : }
740 : :
741 [ - + ]: 10 : if (port_id == NULL) {
742 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
743 : : "Cannot get port ID to NULL for %s", name);
744 : 0 : return -EINVAL;
745 : : }
746 : :
747 : 10 : rte_spinlock_lock(rte_mcfg_ethdev_get_lock());
748 [ + - ]: 21 : RTE_ETH_FOREACH_VALID_DEV(pid) {
749 [ + + ]: 21 : if (strcmp(name, eth_dev_shared_data->data[pid].name) != 0)
750 : : continue;
751 : :
752 [ - + ]: 10 : *port_id = pid;
753 : 10 : rte_ethdev_trace_get_port_by_name(name, *port_id);
754 : : ret = 0;
755 : 10 : break;
756 : : }
757 : 10 : rte_spinlock_unlock(rte_mcfg_ethdev_get_lock());
758 : :
759 : 10 : return ret;
760 : : }
761 : :
762 : : int
763 : 116 : eth_err(uint16_t port_id, int ret)
764 : : {
765 [ - + ]: 116 : if (ret == 0)
766 : : return 0;
767 [ # # ]: 0 : if (rte_eth_dev_is_removed(port_id))
768 : 0 : return -EIO;
769 : : return ret;
770 : : }
771 : :
772 : : static int
773 : 0 : eth_dev_validate_rx_queue(const struct rte_eth_dev *dev, uint16_t rx_queue_id)
774 : : {
775 : : uint16_t port_id;
776 : :
777 [ # # ]: 0 : if (rx_queue_id >= dev->data->nb_rx_queues) {
778 : 0 : port_id = dev->data->port_id;
779 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
780 : : "Invalid Rx queue_id=%u of device with port_id=%u",
781 : : rx_queue_id, port_id);
782 : 0 : return -EINVAL;
783 : : }
784 : :
785 [ # # ]: 0 : if (dev->data->rx_queues[rx_queue_id] == NULL) {
786 : 0 : port_id = dev->data->port_id;
787 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
788 : : "Queue %u of device with port_id=%u has not been setup",
789 : : rx_queue_id, port_id);
790 : 0 : return -EINVAL;
791 : : }
792 : :
793 : : return 0;
794 : : }
795 : :
796 : : static int
797 : 0 : eth_dev_validate_tx_queue(const struct rte_eth_dev *dev, uint16_t tx_queue_id)
798 : : {
799 : : uint16_t port_id;
800 : :
801 [ # # ]: 0 : if (tx_queue_id >= dev->data->nb_tx_queues) {
802 : 0 : port_id = dev->data->port_id;
803 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
804 : : "Invalid Tx queue_id=%u of device with port_id=%u",
805 : : tx_queue_id, port_id);
806 : 0 : return -EINVAL;
807 : : }
808 : :
809 [ # # ]: 0 : if (dev->data->tx_queues[tx_queue_id] == NULL) {
810 : 0 : port_id = dev->data->port_id;
811 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
812 : : "Queue %u of device with port_id=%u has not been setup",
813 : : tx_queue_id, port_id);
814 : 0 : return -EINVAL;
815 : : }
816 : :
817 : : return 0;
818 : : }
819 : :
820 : : int
821 : 0 : rte_eth_rx_queue_is_valid(uint16_t port_id, uint16_t queue_id)
822 : : {
823 : : struct rte_eth_dev *dev;
824 : :
825 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
826 : 0 : dev = &rte_eth_devices[port_id];
827 : :
828 : 0 : return eth_dev_validate_rx_queue(dev, queue_id);
829 : : }
830 : :
831 : : int
832 : 0 : rte_eth_tx_queue_is_valid(uint16_t port_id, uint16_t queue_id)
833 : : {
834 : : struct rte_eth_dev *dev;
835 : :
836 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
837 : 0 : dev = &rte_eth_devices[port_id];
838 : :
839 : 0 : return eth_dev_validate_tx_queue(dev, queue_id);
840 : : }
841 : :
842 : : int
843 : 0 : rte_eth_dev_rx_queue_start(uint16_t port_id, uint16_t rx_queue_id)
844 : : {
845 : : struct rte_eth_dev *dev;
846 : : int ret;
847 : :
848 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
849 : 0 : dev = &rte_eth_devices[port_id];
850 : :
851 [ # # ]: 0 : if (!dev->data->dev_started) {
852 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
853 : : "Port %u must be started before start any queue",
854 : : port_id);
855 : 0 : return -EINVAL;
856 : : }
857 : :
858 : 0 : ret = eth_dev_validate_rx_queue(dev, rx_queue_id);
859 [ # # ]: 0 : if (ret != 0)
860 : : return ret;
861 : :
862 [ # # ]: 0 : if (*dev->dev_ops->rx_queue_start == NULL)
863 : : return -ENOTSUP;
864 : :
865 [ # # ]: 0 : if (rte_eth_dev_is_rx_hairpin_queue(dev, rx_queue_id)) {
866 : 0 : RTE_ETHDEV_LOG_LINE(INFO,
867 : : "Can't start Rx hairpin queue %"PRIu16" of device with port_id=%"PRIu16,
868 : : rx_queue_id, port_id);
869 : 0 : return -EINVAL;
870 : : }
871 : :
872 [ # # ]: 0 : if (dev->data->rx_queue_state[rx_queue_id] != RTE_ETH_QUEUE_STATE_STOPPED) {
873 : 0 : RTE_ETHDEV_LOG_LINE(INFO,
874 : : "Queue %"PRIu16" of device with port_id=%"PRIu16" already started",
875 : : rx_queue_id, port_id);
876 : 0 : return 0;
877 : : }
878 : :
879 : 0 : ret = eth_err(port_id, dev->dev_ops->rx_queue_start(dev, rx_queue_id));
880 : :
881 : 0 : rte_ethdev_trace_rx_queue_start(port_id, rx_queue_id, ret);
882 : :
883 : 0 : return ret;
884 : : }
885 : :
886 : : int
887 : 0 : rte_eth_dev_rx_queue_stop(uint16_t port_id, uint16_t rx_queue_id)
888 : : {
889 : : struct rte_eth_dev *dev;
890 : : int ret;
891 : :
892 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
893 : 0 : dev = &rte_eth_devices[port_id];
894 : :
895 : 0 : ret = eth_dev_validate_rx_queue(dev, rx_queue_id);
896 [ # # ]: 0 : if (ret != 0)
897 : : return ret;
898 : :
899 [ # # ]: 0 : if (*dev->dev_ops->rx_queue_stop == NULL)
900 : : return -ENOTSUP;
901 : :
902 [ # # ]: 0 : if (rte_eth_dev_is_rx_hairpin_queue(dev, rx_queue_id)) {
903 : 0 : RTE_ETHDEV_LOG_LINE(INFO,
904 : : "Can't stop Rx hairpin queue %"PRIu16" of device with port_id=%"PRIu16,
905 : : rx_queue_id, port_id);
906 : 0 : return -EINVAL;
907 : : }
908 : :
909 [ # # ]: 0 : if (dev->data->rx_queue_state[rx_queue_id] == RTE_ETH_QUEUE_STATE_STOPPED) {
910 : 0 : RTE_ETHDEV_LOG_LINE(INFO,
911 : : "Queue %"PRIu16" of device with port_id=%"PRIu16" already stopped",
912 : : rx_queue_id, port_id);
913 : 0 : return 0;
914 : : }
915 : :
916 : 0 : ret = eth_err(port_id, dev->dev_ops->rx_queue_stop(dev, rx_queue_id));
917 : :
918 : 0 : rte_ethdev_trace_rx_queue_stop(port_id, rx_queue_id, ret);
919 : :
920 : 0 : return ret;
921 : : }
922 : :
923 : : int
924 : 0 : rte_eth_dev_tx_queue_start(uint16_t port_id, uint16_t tx_queue_id)
925 : : {
926 : : struct rte_eth_dev *dev;
927 : : int ret;
928 : :
929 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
930 : 0 : dev = &rte_eth_devices[port_id];
931 : :
932 [ # # ]: 0 : if (!dev->data->dev_started) {
933 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
934 : : "Port %u must be started before start any queue",
935 : : port_id);
936 : 0 : return -EINVAL;
937 : : }
938 : :
939 : 0 : ret = eth_dev_validate_tx_queue(dev, tx_queue_id);
940 [ # # ]: 0 : if (ret != 0)
941 : : return ret;
942 : :
943 [ # # ]: 0 : if (*dev->dev_ops->tx_queue_start == NULL)
944 : : return -ENOTSUP;
945 : :
946 [ # # ]: 0 : if (rte_eth_dev_is_tx_hairpin_queue(dev, tx_queue_id)) {
947 : 0 : RTE_ETHDEV_LOG_LINE(INFO,
948 : : "Can't start Tx hairpin queue %"PRIu16" of device with port_id=%"PRIu16,
949 : : tx_queue_id, port_id);
950 : 0 : return -EINVAL;
951 : : }
952 : :
953 [ # # ]: 0 : if (dev->data->tx_queue_state[tx_queue_id] != RTE_ETH_QUEUE_STATE_STOPPED) {
954 : 0 : RTE_ETHDEV_LOG_LINE(INFO,
955 : : "Queue %"PRIu16" of device with port_id=%"PRIu16" already started",
956 : : tx_queue_id, port_id);
957 : 0 : return 0;
958 : : }
959 : :
960 : 0 : ret = eth_err(port_id, dev->dev_ops->tx_queue_start(dev, tx_queue_id));
961 : :
962 : 0 : rte_ethdev_trace_tx_queue_start(port_id, tx_queue_id, ret);
963 : :
964 : 0 : return ret;
965 : : }
966 : :
967 : : int
968 : 0 : rte_eth_dev_tx_queue_stop(uint16_t port_id, uint16_t tx_queue_id)
969 : : {
970 : : struct rte_eth_dev *dev;
971 : : int ret;
972 : :
973 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
974 : 0 : dev = &rte_eth_devices[port_id];
975 : :
976 : 0 : ret = eth_dev_validate_tx_queue(dev, tx_queue_id);
977 [ # # ]: 0 : if (ret != 0)
978 : : return ret;
979 : :
980 [ # # ]: 0 : if (*dev->dev_ops->tx_queue_stop == NULL)
981 : : return -ENOTSUP;
982 : :
983 [ # # ]: 0 : if (rte_eth_dev_is_tx_hairpin_queue(dev, tx_queue_id)) {
984 : 0 : RTE_ETHDEV_LOG_LINE(INFO,
985 : : "Can't stop Tx hairpin queue %"PRIu16" of device with port_id=%"PRIu16,
986 : : tx_queue_id, port_id);
987 : 0 : return -EINVAL;
988 : : }
989 : :
990 [ # # ]: 0 : if (dev->data->tx_queue_state[tx_queue_id] == RTE_ETH_QUEUE_STATE_STOPPED) {
991 : 0 : RTE_ETHDEV_LOG_LINE(INFO,
992 : : "Queue %"PRIu16" of device with port_id=%"PRIu16" already stopped",
993 : : tx_queue_id, port_id);
994 : 0 : return 0;
995 : : }
996 : :
997 : 0 : ret = eth_err(port_id, dev->dev_ops->tx_queue_stop(dev, tx_queue_id));
998 : :
999 : 0 : rte_ethdev_trace_tx_queue_stop(port_id, tx_queue_id, ret);
1000 : :
1001 : 0 : return ret;
1002 : : }
1003 : :
1004 : : uint32_t
1005 : 0 : rte_eth_speed_bitflag(uint32_t speed, int duplex)
1006 : : {
1007 : : uint32_t ret;
1008 : :
1009 [ # # # # : 0 : switch (speed) {
# # # # #
# # # # #
# ]
1010 : 0 : case RTE_ETH_SPEED_NUM_10M:
1011 [ # # ]: 0 : ret = duplex ? RTE_ETH_LINK_SPEED_10M : RTE_ETH_LINK_SPEED_10M_HD;
1012 : : break;
1013 : 0 : case RTE_ETH_SPEED_NUM_100M:
1014 [ # # ]: 0 : ret = duplex ? RTE_ETH_LINK_SPEED_100M : RTE_ETH_LINK_SPEED_100M_HD;
1015 : : break;
1016 : : case RTE_ETH_SPEED_NUM_1G:
1017 : : ret = RTE_ETH_LINK_SPEED_1G;
1018 : : break;
1019 : 0 : case RTE_ETH_SPEED_NUM_2_5G:
1020 : : ret = RTE_ETH_LINK_SPEED_2_5G;
1021 : 0 : break;
1022 : 0 : case RTE_ETH_SPEED_NUM_5G:
1023 : : ret = RTE_ETH_LINK_SPEED_5G;
1024 : 0 : break;
1025 : 0 : case RTE_ETH_SPEED_NUM_10G:
1026 : : ret = RTE_ETH_LINK_SPEED_10G;
1027 : 0 : break;
1028 : 0 : case RTE_ETH_SPEED_NUM_20G:
1029 : : ret = RTE_ETH_LINK_SPEED_20G;
1030 : 0 : break;
1031 : 0 : case RTE_ETH_SPEED_NUM_25G:
1032 : : ret = RTE_ETH_LINK_SPEED_25G;
1033 : 0 : break;
1034 : 0 : case RTE_ETH_SPEED_NUM_40G:
1035 : : ret = RTE_ETH_LINK_SPEED_40G;
1036 : 0 : break;
1037 : 0 : case RTE_ETH_SPEED_NUM_50G:
1038 : : ret = RTE_ETH_LINK_SPEED_50G;
1039 : 0 : break;
1040 : 0 : case RTE_ETH_SPEED_NUM_56G:
1041 : : ret = RTE_ETH_LINK_SPEED_56G;
1042 : 0 : break;
1043 : 0 : case RTE_ETH_SPEED_NUM_100G:
1044 : : ret = RTE_ETH_LINK_SPEED_100G;
1045 : 0 : break;
1046 : 0 : case RTE_ETH_SPEED_NUM_200G:
1047 : : ret = RTE_ETH_LINK_SPEED_200G;
1048 : 0 : break;
1049 : 0 : case RTE_ETH_SPEED_NUM_400G:
1050 : : ret = RTE_ETH_LINK_SPEED_400G;
1051 : 0 : break;
1052 : 0 : default:
1053 : : ret = 0;
1054 : : }
1055 : :
1056 : 0 : rte_eth_trace_speed_bitflag(speed, duplex, ret);
1057 : :
1058 : 0 : return ret;
1059 : : }
1060 : :
1061 : : const char *
1062 : 0 : rte_eth_dev_rx_offload_name(uint64_t offload)
1063 : : {
1064 : : const char *name = "UNKNOWN";
1065 : : unsigned int i;
1066 : :
1067 [ # # ]: 0 : for (i = 0; i < RTE_DIM(eth_dev_rx_offload_names); ++i) {
1068 [ # # ]: 0 : if (offload == eth_dev_rx_offload_names[i].offload) {
1069 : 0 : name = eth_dev_rx_offload_names[i].name;
1070 : 0 : break;
1071 : : }
1072 : : }
1073 : :
1074 : 0 : rte_ethdev_trace_rx_offload_name(offload, name);
1075 : :
1076 : 0 : return name;
1077 : : }
1078 : :
1079 : : const char *
1080 : 0 : rte_eth_dev_tx_offload_name(uint64_t offload)
1081 : : {
1082 : : const char *name = "UNKNOWN";
1083 : : unsigned int i;
1084 : :
1085 [ # # ]: 0 : for (i = 0; i < RTE_DIM(eth_dev_tx_offload_names); ++i) {
1086 [ # # ]: 0 : if (offload == eth_dev_tx_offload_names[i].offload) {
1087 : 0 : name = eth_dev_tx_offload_names[i].name;
1088 : 0 : break;
1089 : : }
1090 : : }
1091 : :
1092 : 0 : rte_ethdev_trace_tx_offload_name(offload, name);
1093 : :
1094 : 0 : return name;
1095 : : }
1096 : :
1097 : : static char *
1098 : 0 : eth_dev_offload_names(uint64_t bitmask, char *buf, size_t size,
1099 : : const char *(*offload_name)(uint64_t))
1100 : : {
1101 : : unsigned int pos = 0;
1102 : : int ret;
1103 : :
1104 : : /* There should be at least enough space to handle those cases */
1105 : : RTE_ASSERT(size >= sizeof("none") && size >= sizeof("..."));
1106 : :
1107 [ # # ]: 0 : if (bitmask == 0) {
1108 : : ret = snprintf(&buf[pos], size - pos, "none");
1109 [ # # # # ]: 0 : if (ret < 0 || pos + ret >= size)
1110 : : ret = 0;
1111 : 0 : pos += ret;
1112 : 0 : goto out;
1113 : : }
1114 : :
1115 [ # # ]: 0 : while (bitmask != 0) {
1116 : 0 : uint64_t offload = RTE_BIT64(rte_ctz64(bitmask));
1117 : 0 : const char *name = offload_name(offload);
1118 : :
1119 [ # # ]: 0 : ret = snprintf(&buf[pos], size - pos, "%s,", name);
1120 [ # # # # ]: 0 : if (ret < 0 || pos + ret >= size) {
1121 [ # # ]: 0 : if (pos + sizeof("...") >= size)
1122 : 0 : pos = size - sizeof("...");
1123 [ # # ]: 0 : ret = snprintf(&buf[pos], size - pos, "...");
1124 [ # # # # ]: 0 : if (ret > 0 && pos + ret < size)
1125 : : pos += ret;
1126 : 0 : goto out;
1127 : : }
1128 : :
1129 : : pos += ret;
1130 : 0 : bitmask &= ~offload;
1131 : : }
1132 : :
1133 : : /* Eliminate trailing comma */
1134 : 0 : pos--;
1135 : 0 : out:
1136 : 0 : buf[pos] = '\0';
1137 : 0 : return buf;
1138 : : }
1139 : :
1140 : : const char *
1141 : 0 : rte_eth_dev_capability_name(uint64_t capability)
1142 : : {
1143 : : const char *name = "UNKNOWN";
1144 : : unsigned int i;
1145 : :
1146 [ # # ]: 0 : for (i = 0; i < RTE_DIM(rte_eth_dev_capa_names); ++i) {
1147 [ # # ]: 0 : if (capability == rte_eth_dev_capa_names[i].offload) {
1148 : 0 : name = rte_eth_dev_capa_names[i].name;
1149 : 0 : break;
1150 : : }
1151 : : }
1152 : :
1153 : 0 : rte_ethdev_trace_capability_name(capability, name);
1154 : :
1155 : 0 : return name;
1156 : : }
1157 : :
1158 : : static inline int
1159 : 0 : eth_dev_check_lro_pkt_size(uint16_t port_id, uint32_t config_size,
1160 : : uint32_t max_rx_pkt_len, uint32_t dev_info_size)
1161 : : {
1162 : : int ret = 0;
1163 : :
1164 [ # # ]: 0 : if (dev_info_size == 0) {
1165 [ # # ]: 0 : if (config_size != max_rx_pkt_len) {
1166 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Ethdev port_id=%d max_lro_pkt_size"
1167 : : " %u != %u is not allowed",
1168 : : port_id, config_size, max_rx_pkt_len);
1169 : : ret = -EINVAL;
1170 : : }
1171 [ # # ]: 0 : } else if (config_size > dev_info_size) {
1172 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Ethdev port_id=%d max_lro_pkt_size %u "
1173 : : "> max allowed value %u", port_id, config_size,
1174 : : dev_info_size);
1175 : : ret = -EINVAL;
1176 [ # # ]: 0 : } else if (config_size < RTE_ETHER_MIN_LEN) {
1177 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Ethdev port_id=%d max_lro_pkt_size %u "
1178 : : "< min allowed value %u", port_id, config_size,
1179 : : (unsigned int)RTE_ETHER_MIN_LEN);
1180 : : ret = -EINVAL;
1181 : : }
1182 : 0 : return ret;
1183 : : }
1184 : :
1185 : : /*
1186 : : * Validate offloads that are requested through rte_eth_dev_configure against
1187 : : * the offloads successfully set by the Ethernet device.
1188 : : *
1189 : : * @param port_id
1190 : : * The port identifier of the Ethernet device.
1191 : : * @param req_offloads
1192 : : * The offloads that have been requested through `rte_eth_dev_configure`.
1193 : : * @param set_offloads
1194 : : * The offloads successfully set by the Ethernet device.
1195 : : * @param offload_type
1196 : : * The offload type i.e. Rx/Tx string.
1197 : : * @param offload_name
1198 : : * The function that prints the offload name.
1199 : : * @return
1200 : : * - (0) if validation successful.
1201 : : * - (-EINVAL) if requested offload has been silently disabled.
1202 : : */
1203 : : static int
1204 : 30 : eth_dev_validate_offloads(uint16_t port_id, uint64_t req_offloads,
1205 : : uint64_t set_offloads, const char *offload_type,
1206 : : const char *(*offload_name)(uint64_t))
1207 : : {
1208 : 30 : uint64_t offloads_diff = req_offloads ^ set_offloads;
1209 : : uint64_t offload;
1210 : : int ret = 0;
1211 : :
1212 [ - + ]: 30 : while (offloads_diff != 0) {
1213 : : /* Check if any offload is requested but not enabled. */
1214 : 0 : offload = RTE_BIT64(rte_ctz64(offloads_diff));
1215 [ # # ]: 0 : if (offload & req_offloads) {
1216 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1217 : : "Port %u failed to enable %s offload %s",
1218 : : port_id, offload_type, offload_name(offload));
1219 : : ret = -EINVAL;
1220 : : }
1221 : :
1222 : : /* Check if offload couldn't be disabled. */
1223 [ # # ]: 0 : if (offload & set_offloads) {
1224 : 0 : RTE_ETHDEV_LOG_LINE(DEBUG,
1225 : : "Port %u %s offload %s is not requested but enabled",
1226 : : port_id, offload_type, offload_name(offload));
1227 : : }
1228 : :
1229 : 0 : offloads_diff &= ~offload;
1230 : : }
1231 : :
1232 : 30 : return ret;
1233 : : }
1234 : :
1235 : : static uint32_t
1236 : : eth_dev_get_overhead_len(uint32_t max_rx_pktlen, uint16_t max_mtu)
1237 : : {
1238 : : uint32_t overhead_len;
1239 : :
1240 [ # # # # : 0 : if (max_mtu != UINT16_MAX && max_rx_pktlen > max_mtu)
# # ]
1241 : 0 : overhead_len = max_rx_pktlen - max_mtu;
1242 : : else
1243 : : overhead_len = RTE_ETHER_HDR_LEN + RTE_ETHER_CRC_LEN;
1244 : :
1245 : : return overhead_len;
1246 : : }
1247 : :
1248 : : /* rte_eth_dev_info_get() should be called prior to this function */
1249 : : static int
1250 : 15 : eth_dev_validate_mtu(uint16_t port_id, struct rte_eth_dev_info *dev_info,
1251 : : uint16_t mtu)
1252 : : {
1253 : : uint32_t overhead_len;
1254 : : uint32_t frame_size;
1255 : :
1256 [ - + ]: 15 : if (mtu < dev_info->min_mtu) {
1257 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1258 : : "MTU (%u) < device min MTU (%u) for port_id %u",
1259 : : mtu, dev_info->min_mtu, port_id);
1260 : 0 : return -EINVAL;
1261 : : }
1262 [ - + ]: 15 : if (mtu > dev_info->max_mtu) {
1263 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1264 : : "MTU (%u) > device max MTU (%u) for port_id %u",
1265 : : mtu, dev_info->max_mtu, port_id);
1266 : 0 : return -EINVAL;
1267 : : }
1268 : :
1269 [ - + ]: 15 : overhead_len = eth_dev_get_overhead_len(dev_info->max_rx_pktlen,
1270 : : dev_info->max_mtu);
1271 : 15 : frame_size = mtu + overhead_len;
1272 [ - + ]: 15 : if (frame_size < RTE_ETHER_MIN_LEN) {
1273 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1274 : : "Frame size (%u) < min frame size (%u) for port_id %u",
1275 : : frame_size, RTE_ETHER_MIN_LEN, port_id);
1276 : 0 : return -EINVAL;
1277 : : }
1278 : :
1279 [ - + ]: 15 : if (frame_size > dev_info->max_rx_pktlen) {
1280 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1281 : : "Frame size (%u) > device max frame size (%u) for port_id %u",
1282 : : frame_size, dev_info->max_rx_pktlen, port_id);
1283 : 0 : return -EINVAL;
1284 : : }
1285 : :
1286 : : return 0;
1287 : : }
1288 : :
1289 : : int
1290 : 15 : rte_eth_dev_configure(uint16_t port_id, uint16_t nb_rx_q, uint16_t nb_tx_q,
1291 : : const struct rte_eth_conf *dev_conf)
1292 : : {
1293 : : enum rte_eth_hash_function algorithm;
1294 : : struct rte_eth_dev *dev;
1295 : : struct rte_eth_dev_info dev_info;
1296 : : struct rte_eth_conf orig_conf;
1297 : : int diag;
1298 : : int ret;
1299 : : uint16_t old_mtu;
1300 : :
1301 [ - + ]: 15 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
1302 : 15 : dev = &rte_eth_devices[port_id];
1303 : :
1304 [ - + ]: 15 : if (dev_conf == NULL) {
1305 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1306 : : "Cannot configure ethdev port %u from NULL config",
1307 : : port_id);
1308 : 0 : return -EINVAL;
1309 : : }
1310 : :
1311 [ + - ]: 15 : if (*dev->dev_ops->dev_configure == NULL)
1312 : : return -ENOTSUP;
1313 : :
1314 [ - + ]: 15 : if (dev->data->dev_started) {
1315 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1316 : : "Port %u must be stopped to allow configuration",
1317 : : port_id);
1318 : 0 : return -EBUSY;
1319 : : }
1320 : :
1321 : : /*
1322 : : * Ensure that "dev_configured" is always 0 each time prepare to do
1323 : : * dev_configure() to avoid any non-anticipated behaviour.
1324 : : * And set to 1 when dev_configure() is executed successfully.
1325 : : */
1326 : 15 : dev->data->dev_configured = 0;
1327 : :
1328 : : /* Store original config, as rollback required on failure */
1329 [ + - ]: 15 : memcpy(&orig_conf, &dev->data->dev_conf, sizeof(dev->data->dev_conf));
1330 : :
1331 : : /*
1332 : : * Copy the dev_conf parameter into the dev structure.
1333 : : * rte_eth_dev_info_get() requires dev_conf, copy it before dev_info get
1334 : : */
1335 [ + - ]: 15 : if (dev_conf != &dev->data->dev_conf)
1336 : : memcpy(&dev->data->dev_conf, dev_conf,
1337 : : sizeof(dev->data->dev_conf));
1338 : :
1339 : : /* Backup mtu for rollback */
1340 : 15 : old_mtu = dev->data->mtu;
1341 : :
1342 : : /* fields must be zero to reserve them for future ABI changes */
1343 [ + - ]: 15 : if (dev_conf->rxmode.reserved_64s[0] != 0 ||
1344 [ + - ]: 15 : dev_conf->rxmode.reserved_64s[1] != 0 ||
1345 [ + - ]: 15 : dev_conf->rxmode.reserved_ptrs[0] != NULL ||
1346 [ - + ]: 15 : dev_conf->rxmode.reserved_ptrs[1] != NULL) {
1347 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Rxmode reserved fields not zero");
1348 : : ret = -EINVAL;
1349 : 0 : goto rollback;
1350 : : }
1351 : :
1352 [ + - ]: 15 : if (dev_conf->txmode.reserved_64s[0] != 0 ||
1353 [ + - ]: 15 : dev_conf->txmode.reserved_64s[1] != 0 ||
1354 [ + - ]: 15 : dev_conf->txmode.reserved_ptrs[0] != NULL ||
1355 [ - + ]: 15 : dev_conf->txmode.reserved_ptrs[1] != NULL) {
1356 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "txmode reserved fields not zero");
1357 : : ret = -EINVAL;
1358 : 0 : goto rollback;
1359 : : }
1360 : :
1361 : 15 : ret = rte_eth_dev_info_get(port_id, &dev_info);
1362 [ - + ]: 15 : if (ret != 0)
1363 : 0 : goto rollback;
1364 : :
1365 : : /* If number of queues specified by application for both Rx and Tx is
1366 : : * zero, use driver preferred values. This cannot be done individually
1367 : : * as it is valid for either Tx or Rx (but not both) to be zero.
1368 : : * If driver does not provide any preferred valued, fall back on
1369 : : * EAL defaults.
1370 : : */
1371 [ - + ]: 15 : if (nb_rx_q == 0 && nb_tx_q == 0) {
1372 : 0 : nb_rx_q = dev_info.default_rxportconf.nb_queues;
1373 : : if (nb_rx_q == 0)
1374 : : nb_rx_q = RTE_ETH_DEV_FALLBACK_RX_NBQUEUES;
1375 : 0 : nb_tx_q = dev_info.default_txportconf.nb_queues;
1376 : : if (nb_tx_q == 0)
1377 : : nb_tx_q = RTE_ETH_DEV_FALLBACK_TX_NBQUEUES;
1378 : : }
1379 : :
1380 [ - + ]: 15 : if (nb_rx_q > RTE_MAX_QUEUES_PER_PORT) {
1381 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1382 : : "Number of Rx queues requested (%u) is greater than max supported(%d)",
1383 : : nb_rx_q, RTE_MAX_QUEUES_PER_PORT);
1384 : : ret = -EINVAL;
1385 : 0 : goto rollback;
1386 : : }
1387 : :
1388 [ - + ]: 15 : if (nb_tx_q > RTE_MAX_QUEUES_PER_PORT) {
1389 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1390 : : "Number of Tx queues requested (%u) is greater than max supported(%d)",
1391 : : nb_tx_q, RTE_MAX_QUEUES_PER_PORT);
1392 : : ret = -EINVAL;
1393 : 0 : goto rollback;
1394 : : }
1395 : :
1396 : : /*
1397 : : * Check that the numbers of Rx and Tx queues are not greater
1398 : : * than the maximum number of Rx and Tx queues supported by the
1399 : : * configured device.
1400 : : */
1401 [ - + ]: 15 : if (nb_rx_q > dev_info.max_rx_queues) {
1402 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Ethdev port_id=%u nb_rx_queues=%u > %u",
1403 : : port_id, nb_rx_q, dev_info.max_rx_queues);
1404 : : ret = -EINVAL;
1405 : 0 : goto rollback;
1406 : : }
1407 : :
1408 [ - + ]: 15 : if (nb_tx_q > dev_info.max_tx_queues) {
1409 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Ethdev port_id=%u nb_tx_queues=%u > %u",
1410 : : port_id, nb_tx_q, dev_info.max_tx_queues);
1411 : : ret = -EINVAL;
1412 : 0 : goto rollback;
1413 : : }
1414 : :
1415 : : /* Check that the device supports requested interrupts */
1416 [ - + ]: 15 : if ((dev_conf->intr_conf.lsc == 1) &&
1417 [ # # ]: 0 : (!(dev->data->dev_flags & RTE_ETH_DEV_INTR_LSC))) {
1418 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Driver %s does not support lsc",
1419 : : dev->device->driver->name);
1420 : : ret = -EINVAL;
1421 : 0 : goto rollback;
1422 : : }
1423 [ - + ]: 15 : if ((dev_conf->intr_conf.rmv == 1) &&
1424 [ # # ]: 0 : (!(dev->data->dev_flags & RTE_ETH_DEV_INTR_RMV))) {
1425 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Driver %s does not support rmv",
1426 : : dev->device->driver->name);
1427 : : ret = -EINVAL;
1428 : 0 : goto rollback;
1429 : : }
1430 : :
1431 [ + - ]: 15 : if (dev_conf->rxmode.mtu == 0)
1432 : 15 : dev->data->dev_conf.rxmode.mtu =
1433 [ + - ]: 15 : (dev_info.max_mtu == 0) ? RTE_ETHER_MTU :
1434 : 15 : RTE_MIN(dev_info.max_mtu, RTE_ETHER_MTU);
1435 : :
1436 : 15 : ret = eth_dev_validate_mtu(port_id, &dev_info,
1437 : 15 : dev->data->dev_conf.rxmode.mtu);
1438 [ - + ]: 15 : if (ret != 0)
1439 : 0 : goto rollback;
1440 : :
1441 : 15 : dev->data->mtu = dev->data->dev_conf.rxmode.mtu;
1442 : :
1443 : : /*
1444 : : * If LRO is enabled, check that the maximum aggregated packet
1445 : : * size is supported by the configured device.
1446 : : */
1447 [ - + ]: 15 : if (dev_conf->rxmode.offloads & RTE_ETH_RX_OFFLOAD_TCP_LRO) {
1448 : : uint32_t max_rx_pktlen;
1449 : : uint32_t overhead_len;
1450 : :
1451 : 0 : overhead_len = eth_dev_get_overhead_len(dev_info.max_rx_pktlen,
1452 [ # # ]: 0 : dev_info.max_mtu);
1453 : 0 : max_rx_pktlen = dev->data->dev_conf.rxmode.mtu + overhead_len;
1454 [ # # ]: 0 : if (dev_conf->rxmode.max_lro_pkt_size == 0)
1455 : 0 : dev->data->dev_conf.rxmode.max_lro_pkt_size = max_rx_pktlen;
1456 : 0 : ret = eth_dev_check_lro_pkt_size(port_id,
1457 : : dev->data->dev_conf.rxmode.max_lro_pkt_size,
1458 : : max_rx_pktlen,
1459 : : dev_info.max_lro_pkt_size);
1460 [ # # ]: 0 : if (ret != 0)
1461 : 0 : goto rollback;
1462 : : }
1463 : :
1464 : : /* Any requested offloading must be within its device capabilities */
1465 [ - + ]: 15 : if ((dev_conf->rxmode.offloads & dev_info.rx_offload_capa) !=
1466 : : dev_conf->rxmode.offloads) {
1467 : : char buffer[512];
1468 : :
1469 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Ethdev port_id=%u does not support Rx offloads %s",
1470 : : port_id, eth_dev_offload_names(
1471 : : dev_conf->rxmode.offloads & ~dev_info.rx_offload_capa,
1472 : : buffer, sizeof(buffer), rte_eth_dev_rx_offload_name));
1473 : 0 : RTE_ETHDEV_LOG_LINE(DEBUG, "Ethdev port_id=%u was requested Rx offloads %s",
1474 : : port_id, eth_dev_offload_names(dev_conf->rxmode.offloads,
1475 : : buffer, sizeof(buffer), rte_eth_dev_rx_offload_name));
1476 : 0 : RTE_ETHDEV_LOG_LINE(DEBUG, "Ethdev port_id=%u supports Rx offloads %s",
1477 : : port_id, eth_dev_offload_names(dev_info.rx_offload_capa,
1478 : : buffer, sizeof(buffer), rte_eth_dev_rx_offload_name));
1479 : :
1480 : : ret = -EINVAL;
1481 : 0 : goto rollback;
1482 : : }
1483 [ - + ]: 15 : if ((dev_conf->txmode.offloads & dev_info.tx_offload_capa) !=
1484 : : dev_conf->txmode.offloads) {
1485 : : char buffer[512];
1486 : :
1487 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Ethdev port_id=%u does not support Tx offloads %s",
1488 : : port_id, eth_dev_offload_names(
1489 : : dev_conf->txmode.offloads & ~dev_info.tx_offload_capa,
1490 : : buffer, sizeof(buffer), rte_eth_dev_tx_offload_name));
1491 : 0 : RTE_ETHDEV_LOG_LINE(DEBUG, "Ethdev port_id=%u was requested Tx offloads %s",
1492 : : port_id, eth_dev_offload_names(dev_conf->txmode.offloads,
1493 : : buffer, sizeof(buffer), rte_eth_dev_tx_offload_name));
1494 : 0 : RTE_ETHDEV_LOG_LINE(DEBUG, "Ethdev port_id=%u supports Tx offloads %s",
1495 : : port_id, eth_dev_offload_names(dev_info.tx_offload_capa,
1496 : : buffer, sizeof(buffer), rte_eth_dev_tx_offload_name));
1497 : : ret = -EINVAL;
1498 : 0 : goto rollback;
1499 : : }
1500 : :
1501 : 30 : dev->data->dev_conf.rx_adv_conf.rss_conf.rss_hf =
1502 [ - + ]: 15 : rte_eth_rss_hf_refine(dev_conf->rx_adv_conf.rss_conf.rss_hf);
1503 : :
1504 : : /* Check that device supports requested rss hash functions. */
1505 : 15 : if ((dev_info.flow_type_rss_offloads |
1506 [ - + ]: 15 : dev_conf->rx_adv_conf.rss_conf.rss_hf) !=
1507 : : dev_info.flow_type_rss_offloads) {
1508 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1509 : : "Ethdev port_id=%u invalid rss_hf: 0x%"PRIx64", valid value: 0x%"PRIx64,
1510 : : port_id, dev_conf->rx_adv_conf.rss_conf.rss_hf,
1511 : : dev_info.flow_type_rss_offloads);
1512 : : ret = -EINVAL;
1513 : 0 : goto rollback;
1514 : : }
1515 : :
1516 : : /* Check if Rx RSS distribution is disabled but RSS hash is enabled. */
1517 [ + - ]: 15 : if (((dev_conf->rxmode.mq_mode & RTE_ETH_MQ_RX_RSS_FLAG) == 0) &&
1518 [ - + ]: 15 : (dev_conf->rxmode.offloads & RTE_ETH_RX_OFFLOAD_RSS_HASH)) {
1519 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1520 : : "Ethdev port_id=%u config invalid Rx mq_mode without RSS but %s offload is requested",
1521 : : port_id,
1522 : : rte_eth_dev_rx_offload_name(RTE_ETH_RX_OFFLOAD_RSS_HASH));
1523 : : ret = -EINVAL;
1524 : 0 : goto rollback;
1525 : : }
1526 : :
1527 [ - + ]: 15 : if (dev_conf->rx_adv_conf.rss_conf.rss_key != NULL &&
1528 [ # # ]: 0 : dev_conf->rx_adv_conf.rss_conf.rss_key_len != dev_info.hash_key_size) {
1529 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1530 : : "Ethdev port_id=%u invalid RSS key len: %u, valid value: %u",
1531 : : port_id, dev_conf->rx_adv_conf.rss_conf.rss_key_len,
1532 : : dev_info.hash_key_size);
1533 : : ret = -EINVAL;
1534 : 0 : goto rollback;
1535 : : }
1536 : :
1537 : 15 : algorithm = dev_conf->rx_adv_conf.rss_conf.algorithm;
1538 [ + - ]: 15 : if ((size_t)algorithm >= CHAR_BIT * sizeof(dev_info.rss_algo_capa) ||
1539 [ - + ]: 15 : (dev_info.rss_algo_capa & RTE_ETH_HASH_ALGO_TO_CAPA(algorithm)) == 0) {
1540 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1541 : : "Ethdev port_id=%u configured RSS hash algorithm (%u)"
1542 : : "is not in the algorithm capability (0x%" PRIx32 ")",
1543 : : port_id, algorithm, dev_info.rss_algo_capa);
1544 : : ret = -EINVAL;
1545 : 0 : goto rollback;
1546 : : }
1547 : :
1548 : : /*
1549 : : * Setup new number of Rx/Tx queues and reconfigure device.
1550 : : */
1551 : 15 : diag = eth_dev_rx_queue_config(dev, nb_rx_q);
1552 [ - + ]: 15 : if (diag != 0) {
1553 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1554 : : "Port%u eth_dev_rx_queue_config = %d",
1555 : : port_id, diag);
1556 : : ret = diag;
1557 : 0 : goto rollback;
1558 : : }
1559 : :
1560 : 15 : diag = eth_dev_tx_queue_config(dev, nb_tx_q);
1561 [ - + ]: 15 : if (diag != 0) {
1562 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1563 : : "Port%u eth_dev_tx_queue_config = %d",
1564 : : port_id, diag);
1565 : 0 : eth_dev_rx_queue_config(dev, 0);
1566 : : ret = diag;
1567 : 0 : goto rollback;
1568 : : }
1569 : :
1570 : 15 : diag = (*dev->dev_ops->dev_configure)(dev);
1571 [ - + ]: 15 : if (diag != 0) {
1572 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Port%u dev_configure = %d",
1573 : : port_id, diag);
1574 : 0 : ret = eth_err(port_id, diag);
1575 : 0 : goto reset_queues;
1576 : : }
1577 : :
1578 : : /* Initialize Rx profiling if enabled at compilation time. */
1579 : 15 : diag = __rte_eth_dev_profile_init(port_id, dev);
1580 [ - + ]: 15 : if (diag != 0) {
1581 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Port%u __rte_eth_dev_profile_init = %d",
1582 : : port_id, diag);
1583 : 0 : ret = eth_err(port_id, diag);
1584 : 0 : goto reset_queues;
1585 : : }
1586 : :
1587 : : /* Validate Rx offloads. */
1588 : 15 : diag = eth_dev_validate_offloads(port_id,
1589 : 15 : dev_conf->rxmode.offloads,
1590 : 15 : dev->data->dev_conf.rxmode.offloads, "Rx",
1591 : : rte_eth_dev_rx_offload_name);
1592 [ - + ]: 15 : if (diag != 0) {
1593 : : ret = diag;
1594 : 0 : goto reset_queues;
1595 : : }
1596 : :
1597 : : /* Validate Tx offloads. */
1598 : 15 : diag = eth_dev_validate_offloads(port_id,
1599 : 15 : dev_conf->txmode.offloads,
1600 : 15 : dev->data->dev_conf.txmode.offloads, "Tx",
1601 : : rte_eth_dev_tx_offload_name);
1602 [ - + ]: 15 : if (diag != 0) {
1603 : : ret = diag;
1604 : 0 : goto reset_queues;
1605 : : }
1606 : :
1607 [ - + ]: 15 : dev->data->dev_configured = 1;
1608 : 15 : rte_ethdev_trace_configure(port_id, nb_rx_q, nb_tx_q, dev_conf, 0);
1609 : 15 : return 0;
1610 : 0 : reset_queues:
1611 : 0 : eth_dev_rx_queue_config(dev, 0);
1612 : 0 : eth_dev_tx_queue_config(dev, 0);
1613 : 0 : rollback:
1614 [ # # ]: 0 : memcpy(&dev->data->dev_conf, &orig_conf, sizeof(dev->data->dev_conf));
1615 [ # # ]: 0 : if (old_mtu != dev->data->mtu)
1616 : 0 : dev->data->mtu = old_mtu;
1617 : :
1618 : 0 : rte_ethdev_trace_configure(port_id, nb_rx_q, nb_tx_q, dev_conf, ret);
1619 : 0 : return ret;
1620 : : }
1621 : :
1622 : : static void
1623 : 10 : eth_dev_mac_restore(struct rte_eth_dev *dev,
1624 : : struct rte_eth_dev_info *dev_info)
1625 : : {
1626 : : struct rte_ether_addr *addr;
1627 : : uint16_t i;
1628 : : uint32_t pool = 0;
1629 : : uint64_t pool_mask;
1630 : :
1631 : : /* replay MAC address configuration including default MAC */
1632 : 10 : addr = &dev->data->mac_addrs[0];
1633 [ - + ]: 10 : if (*dev->dev_ops->mac_addr_set != NULL)
1634 : 0 : (*dev->dev_ops->mac_addr_set)(dev, addr);
1635 [ + - ]: 10 : else if (*dev->dev_ops->mac_addr_add != NULL)
1636 : 10 : (*dev->dev_ops->mac_addr_add)(dev, addr, 0, pool);
1637 : :
1638 [ + - ]: 10 : if (*dev->dev_ops->mac_addr_add != NULL) {
1639 [ - + ]: 10 : for (i = 1; i < dev_info->max_mac_addrs; i++) {
1640 [ # # ]: 0 : addr = &dev->data->mac_addrs[i];
1641 : :
1642 : : /* skip zero address */
1643 [ # # ]: 0 : if (rte_is_zero_ether_addr(addr))
1644 : 0 : continue;
1645 : :
1646 : : pool = 0;
1647 : 0 : pool_mask = dev->data->mac_pool_sel[i];
1648 : :
1649 : : do {
1650 [ # # ]: 0 : if (pool_mask & UINT64_C(1))
1651 : 0 : (*dev->dev_ops->mac_addr_add)(dev,
1652 : : addr, i, pool);
1653 : 0 : pool_mask >>= 1;
1654 : 0 : pool++;
1655 [ # # ]: 0 : } while (pool_mask);
1656 : : }
1657 : : }
1658 : 10 : }
1659 : :
1660 : : static int
1661 : 10 : eth_dev_promiscuous_restore(struct rte_eth_dev *dev, uint16_t port_id)
1662 : : {
1663 : : int ret;
1664 : :
1665 : : /* replay promiscuous configuration */
1666 : : /*
1667 : : * use callbacks directly since we don't need port_id check and
1668 : : * would like to bypass the same value set
1669 : : */
1670 [ + - ]: 10 : if (rte_eth_promiscuous_get(port_id) == 1 &&
1671 [ + - ]: 10 : *dev->dev_ops->promiscuous_enable != NULL) {
1672 : 10 : ret = eth_err(port_id,
1673 : : (*dev->dev_ops->promiscuous_enable)(dev));
1674 [ - + ]: 10 : if (ret != 0 && ret != -ENOTSUP) {
1675 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1676 : : "Failed to enable promiscuous mode for device (port %u): %s",
1677 : : port_id, rte_strerror(-ret));
1678 : 0 : return ret;
1679 : : }
1680 [ # # ]: 0 : } else if (rte_eth_promiscuous_get(port_id) == 0 &&
1681 [ # # ]: 0 : *dev->dev_ops->promiscuous_disable != NULL) {
1682 : 0 : ret = eth_err(port_id,
1683 : : (*dev->dev_ops->promiscuous_disable)(dev));
1684 [ # # ]: 0 : if (ret != 0 && ret != -ENOTSUP) {
1685 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1686 : : "Failed to disable promiscuous mode for device (port %u): %s",
1687 : : port_id, rte_strerror(-ret));
1688 : 0 : return ret;
1689 : : }
1690 : : }
1691 : :
1692 : : return 0;
1693 : : }
1694 : :
1695 : : static int
1696 : 10 : eth_dev_allmulticast_restore(struct rte_eth_dev *dev, uint16_t port_id)
1697 : : {
1698 : : int ret;
1699 : :
1700 : : /* replay all multicast configuration */
1701 : : /*
1702 : : * use callbacks directly since we don't need port_id check and
1703 : : * would like to bypass the same value set
1704 : : */
1705 [ + - ]: 10 : if (rte_eth_allmulticast_get(port_id) == 1 &&
1706 [ + - ]: 10 : *dev->dev_ops->allmulticast_enable != NULL) {
1707 : 10 : ret = eth_err(port_id,
1708 : : (*dev->dev_ops->allmulticast_enable)(dev));
1709 [ - + ]: 10 : if (ret != 0 && ret != -ENOTSUP) {
1710 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1711 : : "Failed to enable allmulticast mode for device (port %u): %s",
1712 : : port_id, rte_strerror(-ret));
1713 : 0 : return ret;
1714 : : }
1715 [ # # ]: 0 : } else if (rte_eth_allmulticast_get(port_id) == 0 &&
1716 [ # # ]: 0 : *dev->dev_ops->allmulticast_disable != NULL) {
1717 : 0 : ret = eth_err(port_id,
1718 : : (*dev->dev_ops->allmulticast_disable)(dev));
1719 [ # # ]: 0 : if (ret != 0 && ret != -ENOTSUP) {
1720 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1721 : : "Failed to disable allmulticast mode for device (port %u): %s",
1722 : : port_id, rte_strerror(-ret));
1723 : 0 : return ret;
1724 : : }
1725 : : }
1726 : :
1727 : : return 0;
1728 : : }
1729 : :
1730 : : static int
1731 : 10 : eth_dev_config_restore(struct rte_eth_dev *dev,
1732 : : struct rte_eth_dev_info *dev_info,
1733 : : uint64_t restore_flags,
1734 : : uint16_t port_id)
1735 : : {
1736 : : int ret;
1737 : :
1738 [ + - ]: 10 : if (!(*dev_info->dev_flags & RTE_ETH_DEV_NOLIVE_MAC_ADDR) &&
1739 [ + - ]: 10 : (restore_flags & RTE_ETH_RESTORE_MAC_ADDR))
1740 : 10 : eth_dev_mac_restore(dev, dev_info);
1741 : :
1742 [ + - ]: 10 : if (restore_flags & RTE_ETH_RESTORE_PROMISC) {
1743 : 10 : ret = eth_dev_promiscuous_restore(dev, port_id);
1744 [ + - ]: 10 : if (ret != 0)
1745 : : return ret;
1746 : : }
1747 : :
1748 [ + - ]: 10 : if (restore_flags & RTE_ETH_RESTORE_ALLMULTI) {
1749 : 10 : ret = eth_dev_allmulticast_restore(dev, port_id);
1750 [ - + ]: 10 : if (ret != 0)
1751 : 0 : return ret;
1752 : : }
1753 : :
1754 : : return 0;
1755 : : }
1756 : :
1757 : : int
1758 : 10 : rte_eth_dev_start(uint16_t port_id)
1759 : : {
1760 : : struct rte_eth_dev *dev;
1761 : : struct rte_eth_dev_info dev_info;
1762 : : uint64_t restore_flags;
1763 : : int diag;
1764 : : int ret, ret_stop;
1765 : :
1766 [ - + ]: 10 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
1767 : 10 : dev = &rte_eth_devices[port_id];
1768 : :
1769 [ + - ]: 10 : if (*dev->dev_ops->dev_start == NULL)
1770 : : return -ENOTSUP;
1771 : :
1772 [ - + ]: 10 : if (dev->data->dev_configured == 0) {
1773 : 0 : RTE_ETHDEV_LOG_LINE(INFO,
1774 : : "Device with port_id=%"PRIu16" is not configured.",
1775 : : port_id);
1776 : 0 : return -EINVAL;
1777 : : }
1778 : :
1779 [ - + ]: 10 : if (dev->data->dev_started != 0) {
1780 : 0 : RTE_ETHDEV_LOG_LINE(INFO,
1781 : : "Device with port_id=%"PRIu16" already started",
1782 : : port_id);
1783 : 0 : return 0;
1784 : : }
1785 : :
1786 : 10 : ret = rte_eth_dev_info_get(port_id, &dev_info);
1787 [ + - ]: 10 : if (ret != 0)
1788 : : return ret;
1789 : :
1790 : 10 : restore_flags = rte_eth_get_restore_flags(dev, RTE_ETH_START);
1791 : :
1792 : : /* Lets restore MAC now if device does not support live change */
1793 [ - + ]: 10 : if ((*dev_info.dev_flags & RTE_ETH_DEV_NOLIVE_MAC_ADDR) &&
1794 [ # # ]: 0 : (restore_flags & RTE_ETH_RESTORE_MAC_ADDR))
1795 : 0 : eth_dev_mac_restore(dev, &dev_info);
1796 : :
1797 : 10 : diag = (*dev->dev_ops->dev_start)(dev);
1798 [ + - ]: 10 : if (diag == 0)
1799 : 10 : dev->data->dev_started = 1;
1800 : : else
1801 : 0 : return eth_err(port_id, diag);
1802 : :
1803 : 10 : ret = eth_dev_config_restore(dev, &dev_info, restore_flags, port_id);
1804 [ - + ]: 10 : if (ret != 0) {
1805 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1806 : : "Error during restoring configuration for device (port %u): %s",
1807 : : port_id, rte_strerror(-ret));
1808 : 0 : ret_stop = rte_eth_dev_stop(port_id);
1809 [ # # ]: 0 : if (ret_stop != 0) {
1810 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1811 : : "Failed to stop device (port %u): %s",
1812 : : port_id, rte_strerror(-ret_stop));
1813 : : }
1814 : :
1815 : 0 : return ret;
1816 : : }
1817 : :
1818 [ + - ]: 10 : if (dev->data->dev_conf.intr_conf.lsc == 0) {
1819 [ + - ]: 10 : if (*dev->dev_ops->link_update == NULL)
1820 : : return -ENOTSUP;
1821 : 10 : (*dev->dev_ops->link_update)(dev, 0);
1822 : : }
1823 : :
1824 : : /* expose selection of PMD fast-path functions */
1825 : 10 : eth_dev_fp_ops_setup(rte_eth_fp_ops + port_id, dev);
1826 : :
1827 : 10 : rte_ethdev_trace_start(port_id);
1828 : 10 : return 0;
1829 : : }
1830 : :
1831 : : int
1832 : 10 : rte_eth_dev_stop(uint16_t port_id)
1833 : : {
1834 : : struct rte_eth_dev *dev;
1835 : : int ret;
1836 : :
1837 [ - + ]: 10 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
1838 : 10 : dev = &rte_eth_devices[port_id];
1839 : :
1840 [ + - ]: 10 : if (*dev->dev_ops->dev_stop == NULL)
1841 : : return -ENOTSUP;
1842 : :
1843 [ - + ]: 10 : if (dev->data->dev_started == 0) {
1844 : 0 : RTE_ETHDEV_LOG_LINE(INFO,
1845 : : "Device with port_id=%"PRIu16" already stopped",
1846 : : port_id);
1847 : 0 : return 0;
1848 : : }
1849 : :
1850 : : /* point fast-path functions to dummy ones */
1851 : 10 : eth_dev_fp_ops_reset(rte_eth_fp_ops + port_id);
1852 : :
1853 : 10 : ret = (*dev->dev_ops->dev_stop)(dev);
1854 [ + - ]: 10 : if (ret == 0)
1855 : 10 : dev->data->dev_started = 0;
1856 : 10 : rte_ethdev_trace_stop(port_id, ret);
1857 : :
1858 : 10 : return ret;
1859 : : }
1860 : :
1861 : : int
1862 : 0 : rte_eth_dev_set_link_up(uint16_t port_id)
1863 : : {
1864 : : struct rte_eth_dev *dev;
1865 : : int ret;
1866 : :
1867 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
1868 : 0 : dev = &rte_eth_devices[port_id];
1869 : :
1870 [ # # ]: 0 : if (*dev->dev_ops->dev_set_link_up == NULL)
1871 : : return -ENOTSUP;
1872 : 0 : ret = eth_err(port_id, (*dev->dev_ops->dev_set_link_up)(dev));
1873 : :
1874 : 0 : rte_ethdev_trace_set_link_up(port_id, ret);
1875 : :
1876 : 0 : return ret;
1877 : : }
1878 : :
1879 : : int
1880 : 0 : rte_eth_dev_set_link_down(uint16_t port_id)
1881 : : {
1882 : : struct rte_eth_dev *dev;
1883 : : int ret;
1884 : :
1885 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
1886 : 0 : dev = &rte_eth_devices[port_id];
1887 : :
1888 [ # # ]: 0 : if (*dev->dev_ops->dev_set_link_down == NULL)
1889 : : return -ENOTSUP;
1890 : 0 : ret = eth_err(port_id, (*dev->dev_ops->dev_set_link_down)(dev));
1891 : :
1892 : 0 : rte_ethdev_trace_set_link_down(port_id, ret);
1893 : :
1894 : 0 : return ret;
1895 : : }
1896 : :
1897 : : int
1898 : 0 : rte_eth_speed_lanes_get(uint16_t port_id, uint32_t *lane)
1899 : : {
1900 : : struct rte_eth_dev *dev;
1901 : :
1902 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
1903 : 0 : dev = &rte_eth_devices[port_id];
1904 : :
1905 [ # # ]: 0 : if (*dev->dev_ops->speed_lanes_get == NULL)
1906 : : return -ENOTSUP;
1907 : 0 : return eth_err(port_id, (*dev->dev_ops->speed_lanes_get)(dev, lane));
1908 : : }
1909 : :
1910 : : int
1911 : 0 : rte_eth_speed_lanes_get_capability(uint16_t port_id,
1912 : : struct rte_eth_speed_lanes_capa *speed_lanes_capa,
1913 : : unsigned int num)
1914 : : {
1915 : : struct rte_eth_dev *dev;
1916 : : int ret;
1917 : :
1918 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
1919 : 0 : dev = &rte_eth_devices[port_id];
1920 : :
1921 [ # # ]: 0 : if (*dev->dev_ops->speed_lanes_get_capa == NULL)
1922 : : return -ENOTSUP;
1923 : :
1924 [ # # ]: 0 : if (speed_lanes_capa == NULL && num > 0) {
1925 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1926 : : "Cannot get ethdev port %u speed lanes capability to NULL when array size is non zero",
1927 : : port_id);
1928 : 0 : return -EINVAL;
1929 : : }
1930 : :
1931 : 0 : ret = (*dev->dev_ops->speed_lanes_get_capa)(dev, speed_lanes_capa, num);
1932 : :
1933 : 0 : return ret;
1934 : : }
1935 : :
1936 : : int
1937 : 0 : rte_eth_speed_lanes_set(uint16_t port_id, uint32_t speed_lanes_capa)
1938 : : {
1939 : : struct rte_eth_dev *dev;
1940 : :
1941 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
1942 : 0 : dev = &rte_eth_devices[port_id];
1943 : :
1944 [ # # ]: 0 : if (*dev->dev_ops->speed_lanes_set == NULL)
1945 : : return -ENOTSUP;
1946 : 0 : return eth_err(port_id, (*dev->dev_ops->speed_lanes_set)(dev, speed_lanes_capa));
1947 : : }
1948 : :
1949 : : int
1950 : 0 : rte_eth_dev_close(uint16_t port_id)
1951 : : {
1952 : : struct rte_eth_dev *dev;
1953 : : int firsterr, binerr;
1954 : : int *lasterr = &firsterr;
1955 : :
1956 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
1957 : 0 : dev = &rte_eth_devices[port_id];
1958 : :
1959 : : /*
1960 : : * Secondary process needs to close device to release process private
1961 : : * resources. But secondary process should not be obliged to wait
1962 : : * for device stop before closing ethdev.
1963 : : */
1964 [ # # ]: 0 : if (rte_eal_process_type() == RTE_PROC_PRIMARY &&
1965 [ # # ]: 0 : dev->data->dev_started) {
1966 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot close started device (port %u)",
1967 : : port_id);
1968 : 0 : return -EINVAL;
1969 : : }
1970 : :
1971 [ # # ]: 0 : if (*dev->dev_ops->dev_close == NULL)
1972 : : return -ENOTSUP;
1973 : 0 : *lasterr = (*dev->dev_ops->dev_close)(dev);
1974 [ # # ]: 0 : if (*lasterr != 0)
1975 : : lasterr = &binerr;
1976 : :
1977 : 0 : rte_ethdev_trace_close(port_id);
1978 : 0 : *lasterr = rte_eth_dev_release_port(dev);
1979 : :
1980 : 0 : return firsterr;
1981 : : }
1982 : :
1983 : : int
1984 : 0 : rte_eth_dev_reset(uint16_t port_id)
1985 : : {
1986 : : struct rte_eth_dev *dev;
1987 : : int ret;
1988 : :
1989 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
1990 : 0 : dev = &rte_eth_devices[port_id];
1991 : :
1992 [ # # ]: 0 : if (*dev->dev_ops->dev_reset == NULL)
1993 : : return -ENOTSUP;
1994 : :
1995 : 0 : ret = rte_eth_dev_stop(port_id);
1996 [ # # ]: 0 : if (ret != 0) {
1997 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
1998 : : "Failed to stop device (port %u) before reset: %s - ignore",
1999 : : port_id, rte_strerror(-ret));
2000 : : }
2001 : 0 : ret = eth_err(port_id, dev->dev_ops->dev_reset(dev));
2002 : :
2003 : 0 : rte_ethdev_trace_reset(port_id, ret);
2004 : :
2005 : 0 : return ret;
2006 : : }
2007 : :
2008 : : int
2009 : 0 : rte_eth_dev_is_removed(uint16_t port_id)
2010 : : {
2011 : : struct rte_eth_dev *dev;
2012 : : int ret;
2013 : :
2014 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, 0);
2015 : 0 : dev = &rte_eth_devices[port_id];
2016 : :
2017 [ # # ]: 0 : if (dev->state == RTE_ETH_DEV_REMOVED)
2018 : : return 1;
2019 : :
2020 [ # # ]: 0 : if (*dev->dev_ops->is_removed == NULL)
2021 : : return 0;
2022 : :
2023 : 0 : ret = dev->dev_ops->is_removed(dev);
2024 [ # # ]: 0 : if (ret != 0)
2025 : : /* Device is physically removed. */
2026 : 0 : dev->state = RTE_ETH_DEV_REMOVED;
2027 : :
2028 : 0 : rte_ethdev_trace_is_removed(port_id, ret);
2029 : :
2030 : 0 : return ret;
2031 : : }
2032 : :
2033 : : static int
2034 : 40 : rte_eth_check_rx_mempool(struct rte_mempool *mp, uint16_t offset,
2035 : : uint16_t min_length)
2036 : : {
2037 : : uint16_t data_room_size;
2038 : :
2039 : : /*
2040 : : * Check the size of the mbuf data buffer, this value
2041 : : * must be provided in the private data of the memory pool.
2042 : : * First check that the memory pool(s) has a valid private data.
2043 : : */
2044 [ - + ]: 40 : if (mp->private_data_size <
2045 : : sizeof(struct rte_pktmbuf_pool_private)) {
2046 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "%s private_data_size %u < %u",
2047 : : mp->name, mp->private_data_size,
2048 : : (unsigned int)
2049 : : sizeof(struct rte_pktmbuf_pool_private));
2050 : 0 : return -ENOSPC;
2051 : : }
2052 : : data_room_size = rte_pktmbuf_data_room_size(mp);
2053 [ - + ]: 40 : if (data_room_size < offset + min_length) {
2054 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2055 : : "%s mbuf_data_room_size %u < %u (%u + %u)",
2056 : : mp->name, data_room_size,
2057 : : offset + min_length, offset, min_length);
2058 : 0 : return -EINVAL;
2059 : : }
2060 : : return 0;
2061 : : }
2062 : :
2063 : : static int
2064 : 0 : eth_dev_buffer_split_get_supported_hdrs_helper(uint16_t port_id, uint32_t **ptypes)
2065 : : {
2066 : : int cnt;
2067 : :
2068 : 0 : cnt = rte_eth_buffer_split_get_supported_hdr_ptypes(port_id, NULL, 0);
2069 [ # # ]: 0 : if (cnt <= 0)
2070 : : return cnt;
2071 : :
2072 : 0 : *ptypes = malloc(sizeof(uint32_t) * cnt);
2073 [ # # ]: 0 : if (*ptypes == NULL)
2074 : : return -ENOMEM;
2075 : :
2076 : 0 : cnt = rte_eth_buffer_split_get_supported_hdr_ptypes(port_id, *ptypes, cnt);
2077 [ # # ]: 0 : if (cnt <= 0) {
2078 : 0 : free(*ptypes);
2079 : 0 : *ptypes = NULL;
2080 : : }
2081 : : return cnt;
2082 : : }
2083 : :
2084 : : static int
2085 : 0 : rte_eth_rx_queue_check_split(uint16_t port_id,
2086 : : const struct rte_eth_rxseg_split *rx_seg,
2087 : : uint16_t n_seg, uint32_t *mbp_buf_size,
2088 : : const struct rte_eth_dev_info *dev_info)
2089 : : {
2090 : : const struct rte_eth_rxseg_capa *seg_capa = &dev_info->rx_seg_capa;
2091 : : struct rte_mempool *mp_first;
2092 : : uint32_t offset_mask;
2093 : : uint16_t seg_idx;
2094 : : int ret = 0;
2095 : : int ptype_cnt;
2096 : : uint32_t *ptypes;
2097 : : uint32_t prev_proto_hdrs = RTE_PTYPE_UNKNOWN;
2098 : : int i;
2099 : :
2100 [ # # ]: 0 : if (n_seg > seg_capa->max_nseg) {
2101 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2102 : : "Requested Rx segments %u exceed supported %u",
2103 : : n_seg, seg_capa->max_nseg);
2104 : 0 : return -EINVAL;
2105 : : }
2106 : : /*
2107 : : * Check the sizes and offsets against buffer sizes
2108 : : * for each segment specified in extended configuration.
2109 : : */
2110 : 0 : mp_first = rx_seg[0].mp;
2111 : 0 : offset_mask = RTE_BIT32(seg_capa->offset_align_log2) - 1;
2112 : :
2113 : 0 : ptypes = NULL;
2114 : 0 : ptype_cnt = eth_dev_buffer_split_get_supported_hdrs_helper(port_id, &ptypes);
2115 : :
2116 [ # # ]: 0 : for (seg_idx = 0; seg_idx < n_seg; seg_idx++) {
2117 : 0 : struct rte_mempool *mpl = rx_seg[seg_idx].mp;
2118 : 0 : uint32_t length = rx_seg[seg_idx].length;
2119 : 0 : uint32_t offset = rx_seg[seg_idx].offset;
2120 : 0 : uint32_t proto_hdr = rx_seg[seg_idx].proto_hdr;
2121 : :
2122 [ # # ]: 0 : if (mpl == NULL) {
2123 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "null mempool pointer");
2124 : : ret = -EINVAL;
2125 : 0 : goto out;
2126 : : }
2127 [ # # ]: 0 : if (seg_idx != 0 && mp_first != mpl &&
2128 [ # # ]: 0 : seg_capa->multi_pools == 0) {
2129 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Receiving to multiple pools is not supported");
2130 : : ret = -ENOTSUP;
2131 : 0 : goto out;
2132 : : }
2133 [ # # ]: 0 : if (offset != 0) {
2134 [ # # ]: 0 : if (seg_capa->offset_allowed == 0) {
2135 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Rx segmentation with offset is not supported");
2136 : : ret = -ENOTSUP;
2137 : 0 : goto out;
2138 : : }
2139 [ # # ]: 0 : if (offset & offset_mask) {
2140 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Rx segmentation invalid offset alignment %u, %u",
2141 : : offset,
2142 : : seg_capa->offset_align_log2);
2143 : : ret = -EINVAL;
2144 : 0 : goto out;
2145 : : }
2146 : : }
2147 : :
2148 [ # # # # ]: 0 : offset += seg_idx != 0 ? 0 : RTE_PKTMBUF_HEADROOM;
2149 : 0 : *mbp_buf_size = rte_pktmbuf_data_room_size(mpl);
2150 [ # # ]: 0 : if (proto_hdr != 0) {
2151 : : /* Split based on protocol headers. */
2152 [ # # ]: 0 : if (length != 0) {
2153 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2154 : : "Do not set length split and protocol split within a segment"
2155 : : );
2156 : : ret = -EINVAL;
2157 : 0 : goto out;
2158 : : }
2159 [ # # ]: 0 : if ((proto_hdr & prev_proto_hdrs) != 0) {
2160 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2161 : : "Repeat with previous protocol headers or proto-split after length-based split"
2162 : : );
2163 : : ret = -EINVAL;
2164 : 0 : goto out;
2165 : : }
2166 [ # # ]: 0 : if (ptype_cnt <= 0) {
2167 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2168 : : "Port %u failed to get supported buffer split header protocols",
2169 : : port_id);
2170 : : ret = -ENOTSUP;
2171 : 0 : goto out;
2172 : : }
2173 [ # # ]: 0 : for (i = 0; i < ptype_cnt; i++) {
2174 [ # # ]: 0 : if ((prev_proto_hdrs | proto_hdr) == ptypes[i])
2175 : : break;
2176 : : }
2177 [ # # ]: 0 : if (i == ptype_cnt) {
2178 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2179 : : "Requested Rx split header protocols 0x%x is not supported.",
2180 : : proto_hdr);
2181 : : ret = -EINVAL;
2182 : 0 : goto out;
2183 : : }
2184 : 0 : prev_proto_hdrs |= proto_hdr;
2185 : : } else {
2186 : : /* Split at fixed length. */
2187 [ # # ]: 0 : length = length != 0 ? length : *mbp_buf_size;
2188 : : prev_proto_hdrs = RTE_PTYPE_ALL_MASK;
2189 : : }
2190 : :
2191 : 0 : ret = rte_eth_check_rx_mempool(mpl, offset, length);
2192 [ # # ]: 0 : if (ret != 0)
2193 : 0 : goto out;
2194 : : }
2195 : 0 : out:
2196 : 0 : free(ptypes);
2197 : 0 : return ret;
2198 : : }
2199 : :
2200 : : static int
2201 : 0 : rte_eth_rx_queue_check_mempools(struct rte_mempool **rx_mempools,
2202 : : uint16_t n_mempools, uint32_t *min_buf_size,
2203 : : const struct rte_eth_dev_info *dev_info)
2204 : : {
2205 : : uint16_t pool_idx;
2206 : : int ret;
2207 : :
2208 [ # # ]: 0 : if (n_mempools > dev_info->max_rx_mempools) {
2209 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2210 : : "Too many Rx mempools %u vs maximum %u",
2211 : : n_mempools, dev_info->max_rx_mempools);
2212 : 0 : return -EINVAL;
2213 : : }
2214 : :
2215 [ # # ]: 0 : for (pool_idx = 0; pool_idx < n_mempools; pool_idx++) {
2216 : 0 : struct rte_mempool *mp = rx_mempools[pool_idx];
2217 : :
2218 [ # # ]: 0 : if (mp == NULL) {
2219 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "null Rx mempool pointer");
2220 : 0 : return -EINVAL;
2221 : : }
2222 : :
2223 : 0 : ret = rte_eth_check_rx_mempool(mp, RTE_PKTMBUF_HEADROOM,
2224 : 0 : dev_info->min_rx_bufsize);
2225 [ # # ]: 0 : if (ret != 0)
2226 : 0 : return ret;
2227 : :
2228 [ # # ]: 0 : *min_buf_size = RTE_MIN(*min_buf_size,
2229 : : rte_pktmbuf_data_room_size(mp));
2230 : : }
2231 : :
2232 : : return 0;
2233 : : }
2234 : :
2235 : : int
2236 : 40 : rte_eth_rx_queue_setup(uint16_t port_id, uint16_t rx_queue_id,
2237 : : uint16_t nb_rx_desc, unsigned int socket_id,
2238 : : const struct rte_eth_rxconf *rx_conf,
2239 : : struct rte_mempool *mp)
2240 : : {
2241 : : int ret;
2242 : : uint64_t rx_offloads;
2243 : 40 : uint32_t mbp_buf_size = UINT32_MAX;
2244 : : struct rte_eth_dev *dev;
2245 : : struct rte_eth_dev_info dev_info;
2246 : : struct rte_eth_rxconf local_conf;
2247 : : uint32_t buf_data_size;
2248 : :
2249 [ - + ]: 40 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
2250 : 40 : dev = &rte_eth_devices[port_id];
2251 : :
2252 [ - + ]: 40 : if (rx_queue_id >= dev->data->nb_rx_queues) {
2253 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid Rx queue_id=%u", rx_queue_id);
2254 : 0 : return -EINVAL;
2255 : : }
2256 : :
2257 [ + - ]: 40 : if (*dev->dev_ops->rx_queue_setup == NULL)
2258 : : return -ENOTSUP;
2259 : :
2260 [ - + ]: 40 : if (rx_conf != NULL &&
2261 [ # # ]: 0 : (rx_conf->reserved_64s[0] != 0 ||
2262 [ # # ]: 0 : rx_conf->reserved_64s[1] != 0 ||
2263 [ # # ]: 0 : rx_conf->reserved_ptrs[0] != NULL ||
2264 [ # # ]: 0 : rx_conf->reserved_ptrs[1] != NULL)) {
2265 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Rx conf reserved fields not zero");
2266 : 0 : return -EINVAL;
2267 : : }
2268 : :
2269 : 40 : ret = rte_eth_dev_info_get(port_id, &dev_info);
2270 [ + - ]: 40 : if (ret != 0)
2271 : : return ret;
2272 : :
2273 : 40 : rx_offloads = dev->data->dev_conf.rxmode.offloads;
2274 [ - + ]: 40 : if (rx_conf != NULL)
2275 : 0 : rx_offloads |= rx_conf->offloads;
2276 : :
2277 : : /* Ensure that we have one and only one source of Rx buffers */
2278 : 120 : if ((mp != NULL) +
2279 [ - + - - : 80 : (rx_conf != NULL && rx_conf->rx_nseg > 0) +
- + ]
2280 [ - + - - ]: 40 : (rx_conf != NULL && rx_conf->rx_nmempool > 0) != 1) {
2281 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2282 : : "Ambiguous Rx mempools configuration");
2283 : 0 : return -EINVAL;
2284 : : }
2285 : :
2286 [ + - ]: 40 : if (mp != NULL) {
2287 : : /* Single pool configuration check. */
2288 : 40 : ret = rte_eth_check_rx_mempool(mp, RTE_PKTMBUF_HEADROOM,
2289 : 40 : dev_info.min_rx_bufsize);
2290 [ + - ]: 40 : if (ret != 0)
2291 : : return ret;
2292 : :
2293 : 40 : mbp_buf_size = rte_pktmbuf_data_room_size(mp);
2294 : 40 : buf_data_size = mbp_buf_size - RTE_PKTMBUF_HEADROOM;
2295 [ - + ]: 40 : if (buf_data_size > dev_info.max_rx_bufsize)
2296 : 0 : RTE_ETHDEV_LOG_LINE(DEBUG,
2297 : : "For port_id=%u, the mbuf data buffer size (%u) is bigger than "
2298 : : "max buffer size (%u) device can utilize, so mbuf size can be reduced.",
2299 : : port_id, buf_data_size, dev_info.max_rx_bufsize);
2300 [ # # # # ]: 0 : } else if (rx_conf != NULL && rx_conf->rx_nseg > 0) {
2301 : : const struct rte_eth_rxseg_split *rx_seg;
2302 : : uint16_t n_seg;
2303 : :
2304 : : /* Extended multi-segment configuration check. */
2305 [ # # ]: 0 : if (rx_conf->rx_seg == NULL) {
2306 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2307 : : "Memory pool is null and no multi-segment configuration provided");
2308 : 0 : return -EINVAL;
2309 : : }
2310 : :
2311 : : rx_seg = (const struct rte_eth_rxseg_split *)rx_conf->rx_seg;
2312 : : n_seg = rx_conf->rx_nseg;
2313 : :
2314 [ # # ]: 0 : if (rx_offloads & RTE_ETH_RX_OFFLOAD_BUFFER_SPLIT) {
2315 : 0 : ret = rte_eth_rx_queue_check_split(port_id, rx_seg, n_seg,
2316 : : &mbp_buf_size,
2317 : : &dev_info);
2318 [ # # ]: 0 : if (ret != 0)
2319 : : return ret;
2320 : : } else {
2321 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "No Rx segmentation offload configured");
2322 : 0 : return -EINVAL;
2323 : : }
2324 [ # # # # ]: 0 : } else if (rx_conf != NULL && rx_conf->rx_nmempool > 0) {
2325 : : /* Extended multi-pool configuration check. */
2326 [ # # ]: 0 : if (rx_conf->rx_mempools == NULL) {
2327 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Memory pools array is null");
2328 : 0 : return -EINVAL;
2329 : : }
2330 : :
2331 : 0 : ret = rte_eth_rx_queue_check_mempools(rx_conf->rx_mempools,
2332 : : rx_conf->rx_nmempool,
2333 : : &mbp_buf_size,
2334 : : &dev_info);
2335 [ # # ]: 0 : if (ret != 0)
2336 : : return ret;
2337 : : } else {
2338 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Missing Rx mempool configuration");
2339 : 0 : return -EINVAL;
2340 : : }
2341 : :
2342 : : /* Use default specified by driver, if nb_rx_desc is zero */
2343 [ - + ]: 40 : if (nb_rx_desc == 0) {
2344 : 0 : nb_rx_desc = dev_info.default_rxportconf.ring_size;
2345 : : /* If driver default is also zero, fall back on EAL default */
2346 [ # # ]: 0 : if (nb_rx_desc == 0)
2347 : : nb_rx_desc = RTE_ETH_DEV_FALLBACK_RX_RINGSIZE;
2348 : : }
2349 : :
2350 [ + - ]: 40 : if (nb_rx_desc > dev_info.rx_desc_lim.nb_max ||
2351 [ + - ]: 40 : nb_rx_desc < dev_info.rx_desc_lim.nb_min ||
2352 [ - + ]: 40 : nb_rx_desc % dev_info.rx_desc_lim.nb_align != 0) {
2353 : :
2354 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2355 : : "Invalid value for nb_rx_desc(=%hu), should be: <= %hu, >= %hu, and a product of %hu",
2356 : : nb_rx_desc, dev_info.rx_desc_lim.nb_max,
2357 : : dev_info.rx_desc_lim.nb_min,
2358 : : dev_info.rx_desc_lim.nb_align);
2359 : 0 : return -EINVAL;
2360 : : }
2361 : :
2362 [ - + ]: 40 : if (dev->data->dev_started &&
2363 [ # # ]: 0 : !(dev_info.dev_capa &
2364 : : RTE_ETH_DEV_CAPA_RUNTIME_RX_QUEUE_SETUP))
2365 : : return -EBUSY;
2366 : :
2367 [ - + ]: 40 : if (dev->data->dev_started &&
2368 [ # # ]: 0 : (dev->data->rx_queue_state[rx_queue_id] !=
2369 : : RTE_ETH_QUEUE_STATE_STOPPED))
2370 : : return -EBUSY;
2371 : :
2372 : 40 : eth_dev_rxq_release(dev, rx_queue_id);
2373 : :
2374 [ + - ]: 40 : if (rx_conf == NULL)
2375 : : rx_conf = &dev_info.default_rxconf;
2376 : :
2377 : 40 : local_conf = *rx_conf;
2378 : :
2379 : : /*
2380 : : * If an offloading has already been enabled in
2381 : : * rte_eth_dev_configure(), it has been enabled on all queues,
2382 : : * so there is no need to enable it in this queue again.
2383 : : * The local_conf.offloads input to underlying PMD only carries
2384 : : * those offloadings which are only enabled on this queue and
2385 : : * not enabled on all queues.
2386 : : */
2387 : 40 : local_conf.offloads &= ~dev->data->dev_conf.rxmode.offloads;
2388 : :
2389 : : /*
2390 : : * New added offloadings for this queue are those not enabled in
2391 : : * rte_eth_dev_configure() and they must be per-queue type.
2392 : : * A pure per-port offloading can't be enabled on a queue while
2393 : : * disabled on another queue. A pure per-port offloading can't
2394 : : * be enabled for any queue as new added one if it hasn't been
2395 : : * enabled in rte_eth_dev_configure().
2396 : : */
2397 [ - + ]: 40 : if ((local_conf.offloads & dev_info.rx_queue_offload_capa) !=
2398 : : local_conf.offloads) {
2399 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2400 : : "Ethdev port_id=%d rx_queue_id=%d, new added offloads 0x%"PRIx64" must be "
2401 : : "within per-queue offload capabilities 0x%"PRIx64" in %s()",
2402 : : port_id, rx_queue_id, local_conf.offloads,
2403 : : dev_info.rx_queue_offload_capa,
2404 : : __func__);
2405 : 0 : return -EINVAL;
2406 : : }
2407 : :
2408 [ - + ]: 40 : if (local_conf.share_group > 0 &&
2409 [ # # ]: 0 : (dev_info.dev_capa & RTE_ETH_DEV_CAPA_RXQ_SHARE) == 0) {
2410 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2411 : : "Ethdev port_id=%d rx_queue_id=%d, enabled share_group=%hu while device doesn't support Rx queue share",
2412 : : port_id, rx_queue_id, local_conf.share_group);
2413 : 0 : return -EINVAL;
2414 : : }
2415 : :
2416 : : /*
2417 : : * If LRO is enabled, check that the maximum aggregated packet
2418 : : * size is supported by the configured device.
2419 : : */
2420 : : /* Get the real Ethernet overhead length */
2421 [ - + ]: 40 : if (local_conf.offloads & RTE_ETH_RX_OFFLOAD_TCP_LRO) {
2422 : : uint32_t overhead_len;
2423 : : uint32_t max_rx_pktlen;
2424 : : int ret;
2425 : :
2426 : 0 : overhead_len = eth_dev_get_overhead_len(dev_info.max_rx_pktlen,
2427 [ # # ]: 0 : dev_info.max_mtu);
2428 : 0 : max_rx_pktlen = dev->data->mtu + overhead_len;
2429 [ # # ]: 0 : if (dev->data->dev_conf.rxmode.max_lro_pkt_size == 0)
2430 : 0 : dev->data->dev_conf.rxmode.max_lro_pkt_size = max_rx_pktlen;
2431 : 0 : ret = eth_dev_check_lro_pkt_size(port_id,
2432 : : dev->data->dev_conf.rxmode.max_lro_pkt_size,
2433 : : max_rx_pktlen,
2434 : : dev_info.max_lro_pkt_size);
2435 [ # # ]: 0 : if (ret != 0)
2436 : : return ret;
2437 : : }
2438 : :
2439 : 40 : ret = (*dev->dev_ops->rx_queue_setup)(dev, rx_queue_id, nb_rx_desc,
2440 : : socket_id, &local_conf, mp);
2441 [ + - ]: 40 : if (!ret) {
2442 [ + + ]: 40 : if (!dev->data->min_rx_buf_size ||
2443 [ - + ]: 30 : dev->data->min_rx_buf_size > mbp_buf_size)
2444 : 10 : dev->data->min_rx_buf_size = mbp_buf_size;
2445 : : }
2446 : :
2447 : 40 : rte_ethdev_trace_rxq_setup(port_id, rx_queue_id, nb_rx_desc, mp,
2448 : : rx_conf, ret);
2449 : 40 : return eth_err(port_id, ret);
2450 : : }
2451 : :
2452 : : int
2453 : 0 : rte_eth_rx_hairpin_queue_setup(uint16_t port_id, uint16_t rx_queue_id,
2454 : : uint16_t nb_rx_desc,
2455 : : const struct rte_eth_hairpin_conf *conf)
2456 : : {
2457 : : int ret;
2458 : : struct rte_eth_dev *dev;
2459 : : struct rte_eth_hairpin_cap cap;
2460 : : int i;
2461 : : int count;
2462 : :
2463 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
2464 : 0 : dev = &rte_eth_devices[port_id];
2465 : :
2466 [ # # ]: 0 : if (rx_queue_id >= dev->data->nb_rx_queues) {
2467 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid Rx queue_id=%u", rx_queue_id);
2468 : 0 : return -EINVAL;
2469 : : }
2470 : :
2471 [ # # ]: 0 : if (conf == NULL) {
2472 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2473 : : "Cannot setup ethdev port %u Rx hairpin queue from NULL config",
2474 : : port_id);
2475 : 0 : return -EINVAL;
2476 : : }
2477 : :
2478 [ # # ]: 0 : if (conf->reserved != 0) {
2479 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2480 : : "Rx hairpin reserved field not zero");
2481 : 0 : return -EINVAL;
2482 : : }
2483 : :
2484 : 0 : ret = rte_eth_dev_hairpin_capability_get(port_id, &cap);
2485 [ # # ]: 0 : if (ret != 0)
2486 : : return ret;
2487 [ # # ]: 0 : if (*dev->dev_ops->rx_hairpin_queue_setup == NULL)
2488 : : return -ENOTSUP;
2489 : : /* if nb_rx_desc is zero use max number of desc from the driver. */
2490 [ # # ]: 0 : if (nb_rx_desc == 0)
2491 : 0 : nb_rx_desc = cap.max_nb_desc;
2492 [ # # ]: 0 : if (nb_rx_desc > cap.max_nb_desc) {
2493 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2494 : : "Invalid value for nb_rx_desc(=%hu), should be: <= %hu",
2495 : : nb_rx_desc, cap.max_nb_desc);
2496 : 0 : return -EINVAL;
2497 : : }
2498 [ # # ]: 0 : if (conf->peer_count > cap.max_rx_2_tx) {
2499 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2500 : : "Invalid value for number of peers for Rx queue(=%u), should be: <= %hu",
2501 : : conf->peer_count, cap.max_rx_2_tx);
2502 : 0 : return -EINVAL;
2503 : : }
2504 [ # # # # ]: 0 : if (conf->use_locked_device_memory && !cap.rx_cap.locked_device_memory) {
2505 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2506 : : "Attempt to use locked device memory for Rx queue, which is not supported");
2507 : 0 : return -EINVAL;
2508 : : }
2509 [ # # # # ]: 0 : if (conf->use_rte_memory && !cap.rx_cap.rte_memory) {
2510 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2511 : : "Attempt to use DPDK memory for Rx queue, which is not supported");
2512 : 0 : return -EINVAL;
2513 : : }
2514 [ # # ]: 0 : if (conf->use_locked_device_memory && conf->use_rte_memory) {
2515 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2516 : : "Attempt to use mutually exclusive memory settings for Rx queue");
2517 : 0 : return -EINVAL;
2518 : : }
2519 : 0 : if (conf->force_memory &&
2520 [ # # ]: 0 : !conf->use_locked_device_memory &&
2521 : : !conf->use_rte_memory) {
2522 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2523 : : "Attempt to force Rx queue memory settings, but none is set");
2524 : 0 : return -EINVAL;
2525 : : }
2526 [ # # ]: 0 : if (conf->peer_count == 0) {
2527 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2528 : : "Invalid value for number of peers for Rx queue(=%u), should be: > 0",
2529 : : conf->peer_count);
2530 : 0 : return -EINVAL;
2531 : : }
2532 [ # # ]: 0 : for (i = 0, count = 0; i < dev->data->nb_rx_queues &&
2533 [ # # ]: 0 : cap.max_nb_queues != UINT16_MAX; i++) {
2534 [ # # # # ]: 0 : if (i == rx_queue_id || rte_eth_dev_is_rx_hairpin_queue(dev, i))
2535 : 0 : count++;
2536 : : }
2537 [ # # ]: 0 : if (count > cap.max_nb_queues) {
2538 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "To many Rx hairpin queues max is %d",
2539 : : cap.max_nb_queues);
2540 : 0 : return -EINVAL;
2541 : : }
2542 [ # # ]: 0 : if (dev->data->dev_started)
2543 : : return -EBUSY;
2544 : 0 : eth_dev_rxq_release(dev, rx_queue_id);
2545 : 0 : ret = (*dev->dev_ops->rx_hairpin_queue_setup)(dev, rx_queue_id,
2546 : : nb_rx_desc, conf);
2547 [ # # ]: 0 : if (ret == 0)
2548 : 0 : dev->data->rx_queue_state[rx_queue_id] =
2549 : : RTE_ETH_QUEUE_STATE_HAIRPIN;
2550 : 0 : ret = eth_err(port_id, ret);
2551 : :
2552 : 0 : rte_eth_trace_rx_hairpin_queue_setup(port_id, rx_queue_id, nb_rx_desc,
2553 : : conf, ret);
2554 : :
2555 : 0 : return ret;
2556 : : }
2557 : :
2558 : : int
2559 : 40 : rte_eth_tx_queue_setup(uint16_t port_id, uint16_t tx_queue_id,
2560 : : uint16_t nb_tx_desc, unsigned int socket_id,
2561 : : const struct rte_eth_txconf *tx_conf)
2562 : : {
2563 : : struct rte_eth_dev *dev;
2564 : : struct rte_eth_dev_info dev_info;
2565 : : struct rte_eth_txconf local_conf;
2566 : : int ret;
2567 : :
2568 [ - + ]: 40 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
2569 : 40 : dev = &rte_eth_devices[port_id];
2570 : :
2571 [ - + ]: 40 : if (tx_queue_id >= dev->data->nb_tx_queues) {
2572 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid Tx queue_id=%u", tx_queue_id);
2573 : 0 : return -EINVAL;
2574 : : }
2575 : :
2576 [ + - ]: 40 : if (*dev->dev_ops->tx_queue_setup == NULL)
2577 : : return -ENOTSUP;
2578 : :
2579 [ - + ]: 40 : if (tx_conf != NULL &&
2580 [ # # ]: 0 : (tx_conf->reserved_64s[0] != 0 ||
2581 [ # # ]: 0 : tx_conf->reserved_64s[1] != 0 ||
2582 [ # # ]: 0 : tx_conf->reserved_ptrs[0] != NULL ||
2583 [ # # ]: 0 : tx_conf->reserved_ptrs[1] != NULL)) {
2584 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Tx conf reserved fields not zero");
2585 : 0 : return -EINVAL;
2586 : : }
2587 : :
2588 : 40 : ret = rte_eth_dev_info_get(port_id, &dev_info);
2589 [ + - ]: 40 : if (ret != 0)
2590 : : return ret;
2591 : :
2592 : : /* Use default specified by driver, if nb_tx_desc is zero */
2593 [ - + ]: 40 : if (nb_tx_desc == 0) {
2594 : 0 : nb_tx_desc = dev_info.default_txportconf.ring_size;
2595 : : /* If driver default is zero, fall back on EAL default */
2596 [ # # ]: 0 : if (nb_tx_desc == 0)
2597 : : nb_tx_desc = RTE_ETH_DEV_FALLBACK_TX_RINGSIZE;
2598 : : }
2599 [ + - ]: 40 : if (nb_tx_desc > dev_info.tx_desc_lim.nb_max ||
2600 [ + - ]: 40 : nb_tx_desc < dev_info.tx_desc_lim.nb_min ||
2601 [ - + ]: 40 : nb_tx_desc % dev_info.tx_desc_lim.nb_align != 0) {
2602 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2603 : : "Invalid value for nb_tx_desc(=%hu), should be: <= %hu, >= %hu, and a product of %hu",
2604 : : nb_tx_desc, dev_info.tx_desc_lim.nb_max,
2605 : : dev_info.tx_desc_lim.nb_min,
2606 : : dev_info.tx_desc_lim.nb_align);
2607 : 0 : return -EINVAL;
2608 : : }
2609 : :
2610 [ - + ]: 40 : if (dev->data->dev_started &&
2611 [ # # ]: 0 : !(dev_info.dev_capa &
2612 : : RTE_ETH_DEV_CAPA_RUNTIME_TX_QUEUE_SETUP))
2613 : : return -EBUSY;
2614 : :
2615 [ - + ]: 40 : if (dev->data->dev_started &&
2616 [ # # ]: 0 : (dev->data->tx_queue_state[tx_queue_id] !=
2617 : : RTE_ETH_QUEUE_STATE_STOPPED))
2618 : : return -EBUSY;
2619 : :
2620 : 40 : eth_dev_txq_release(dev, tx_queue_id);
2621 : :
2622 [ + - ]: 40 : if (tx_conf == NULL)
2623 : : tx_conf = &dev_info.default_txconf;
2624 : :
2625 : 40 : local_conf = *tx_conf;
2626 : :
2627 : : /*
2628 : : * If an offloading has already been enabled in
2629 : : * rte_eth_dev_configure(), it has been enabled on all queues,
2630 : : * so there is no need to enable it in this queue again.
2631 : : * The local_conf.offloads input to underlying PMD only carries
2632 : : * those offloadings which are only enabled on this queue and
2633 : : * not enabled on all queues.
2634 : : */
2635 : 40 : local_conf.offloads &= ~dev->data->dev_conf.txmode.offloads;
2636 : :
2637 : : /*
2638 : : * New added offloadings for this queue are those not enabled in
2639 : : * rte_eth_dev_configure() and they must be per-queue type.
2640 : : * A pure per-port offloading can't be enabled on a queue while
2641 : : * disabled on another queue. A pure per-port offloading can't
2642 : : * be enabled for any queue as new added one if it hasn't been
2643 : : * enabled in rte_eth_dev_configure().
2644 : : */
2645 [ - + ]: 40 : if ((local_conf.offloads & dev_info.tx_queue_offload_capa) !=
2646 : : local_conf.offloads) {
2647 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2648 : : "Ethdev port_id=%d tx_queue_id=%d, new added offloads 0x%"PRIx64" must be "
2649 : : "within per-queue offload capabilities 0x%"PRIx64" in %s()",
2650 : : port_id, tx_queue_id, local_conf.offloads,
2651 : : dev_info.tx_queue_offload_capa,
2652 : : __func__);
2653 : 0 : return -EINVAL;
2654 : : }
2655 : :
2656 [ - + ]: 40 : rte_ethdev_trace_txq_setup(port_id, tx_queue_id, nb_tx_desc, tx_conf);
2657 : 40 : return eth_err(port_id, (*dev->dev_ops->tx_queue_setup)(dev,
2658 : : tx_queue_id, nb_tx_desc, socket_id, &local_conf));
2659 : : }
2660 : :
2661 : : int
2662 : 0 : rte_eth_tx_hairpin_queue_setup(uint16_t port_id, uint16_t tx_queue_id,
2663 : : uint16_t nb_tx_desc,
2664 : : const struct rte_eth_hairpin_conf *conf)
2665 : : {
2666 : : struct rte_eth_dev *dev;
2667 : : struct rte_eth_hairpin_cap cap;
2668 : : int i;
2669 : : int count;
2670 : : int ret;
2671 : :
2672 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
2673 : 0 : dev = &rte_eth_devices[port_id];
2674 : :
2675 [ # # ]: 0 : if (tx_queue_id >= dev->data->nb_tx_queues) {
2676 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid Tx queue_id=%u", tx_queue_id);
2677 : 0 : return -EINVAL;
2678 : : }
2679 : :
2680 [ # # ]: 0 : if (conf == NULL) {
2681 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2682 : : "Cannot setup ethdev port %u Tx hairpin queue from NULL config",
2683 : : port_id);
2684 : 0 : return -EINVAL;
2685 : : }
2686 : :
2687 : 0 : ret = rte_eth_dev_hairpin_capability_get(port_id, &cap);
2688 [ # # ]: 0 : if (ret != 0)
2689 : : return ret;
2690 [ # # ]: 0 : if (*dev->dev_ops->tx_hairpin_queue_setup == NULL)
2691 : : return -ENOTSUP;
2692 : : /* if nb_rx_desc is zero use max number of desc from the driver. */
2693 [ # # ]: 0 : if (nb_tx_desc == 0)
2694 : 0 : nb_tx_desc = cap.max_nb_desc;
2695 [ # # ]: 0 : if (nb_tx_desc > cap.max_nb_desc) {
2696 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2697 : : "Invalid value for nb_tx_desc(=%hu), should be: <= %hu",
2698 : : nb_tx_desc, cap.max_nb_desc);
2699 : 0 : return -EINVAL;
2700 : : }
2701 [ # # ]: 0 : if (conf->peer_count > cap.max_tx_2_rx) {
2702 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2703 : : "Invalid value for number of peers for Tx queue(=%u), should be: <= %hu",
2704 : : conf->peer_count, cap.max_tx_2_rx);
2705 : 0 : return -EINVAL;
2706 : : }
2707 [ # # # # ]: 0 : if (conf->use_locked_device_memory && !cap.tx_cap.locked_device_memory) {
2708 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2709 : : "Attempt to use locked device memory for Tx queue, which is not supported");
2710 : 0 : return -EINVAL;
2711 : : }
2712 [ # # # # ]: 0 : if (conf->use_rte_memory && !cap.tx_cap.rte_memory) {
2713 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2714 : : "Attempt to use DPDK memory for Tx queue, which is not supported");
2715 : 0 : return -EINVAL;
2716 : : }
2717 [ # # ]: 0 : if (conf->use_locked_device_memory && conf->use_rte_memory) {
2718 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2719 : : "Attempt to use mutually exclusive memory settings for Tx queue");
2720 : 0 : return -EINVAL;
2721 : : }
2722 : 0 : if (conf->force_memory &&
2723 [ # # ]: 0 : !conf->use_locked_device_memory &&
2724 : : !conf->use_rte_memory) {
2725 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2726 : : "Attempt to force Tx queue memory settings, but none is set");
2727 : 0 : return -EINVAL;
2728 : : }
2729 [ # # ]: 0 : if (conf->peer_count == 0) {
2730 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2731 : : "Invalid value for number of peers for Tx queue(=%u), should be: > 0",
2732 : : conf->peer_count);
2733 : 0 : return -EINVAL;
2734 : : }
2735 [ # # ]: 0 : for (i = 0, count = 0; i < dev->data->nb_tx_queues &&
2736 [ # # ]: 0 : cap.max_nb_queues != UINT16_MAX; i++) {
2737 [ # # # # ]: 0 : if (i == tx_queue_id || rte_eth_dev_is_tx_hairpin_queue(dev, i))
2738 : 0 : count++;
2739 : : }
2740 [ # # ]: 0 : if (count > cap.max_nb_queues) {
2741 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "To many Tx hairpin queues max is %d",
2742 : : cap.max_nb_queues);
2743 : 0 : return -EINVAL;
2744 : : }
2745 [ # # ]: 0 : if (dev->data->dev_started)
2746 : : return -EBUSY;
2747 : 0 : eth_dev_txq_release(dev, tx_queue_id);
2748 : 0 : ret = (*dev->dev_ops->tx_hairpin_queue_setup)
2749 : : (dev, tx_queue_id, nb_tx_desc, conf);
2750 [ # # ]: 0 : if (ret == 0)
2751 : 0 : dev->data->tx_queue_state[tx_queue_id] =
2752 : : RTE_ETH_QUEUE_STATE_HAIRPIN;
2753 : 0 : ret = eth_err(port_id, ret);
2754 : :
2755 : 0 : rte_eth_trace_tx_hairpin_queue_setup(port_id, tx_queue_id, nb_tx_desc,
2756 : : conf, ret);
2757 : :
2758 : 0 : return ret;
2759 : : }
2760 : :
2761 : : int
2762 : 0 : rte_eth_hairpin_bind(uint16_t tx_port, uint16_t rx_port)
2763 : : {
2764 : : struct rte_eth_dev *dev;
2765 : : int ret;
2766 : :
2767 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(tx_port, -ENODEV);
2768 : 0 : dev = &rte_eth_devices[tx_port];
2769 : :
2770 [ # # ]: 0 : if (dev->data->dev_started == 0) {
2771 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Tx port %d is not started", tx_port);
2772 : 0 : return -EBUSY;
2773 : : }
2774 : :
2775 [ # # ]: 0 : if (*dev->dev_ops->hairpin_bind == NULL)
2776 : : return -ENOTSUP;
2777 : 0 : ret = (*dev->dev_ops->hairpin_bind)(dev, rx_port);
2778 [ # # ]: 0 : if (ret != 0)
2779 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Failed to bind hairpin Tx %d"
2780 : : " to Rx %d (%d - all ports)",
2781 : : tx_port, rx_port, RTE_MAX_ETHPORTS);
2782 : :
2783 : 0 : rte_eth_trace_hairpin_bind(tx_port, rx_port, ret);
2784 : :
2785 : 0 : return ret;
2786 : : }
2787 : :
2788 : : int
2789 : 0 : rte_eth_hairpin_unbind(uint16_t tx_port, uint16_t rx_port)
2790 : : {
2791 : : struct rte_eth_dev *dev;
2792 : : int ret;
2793 : :
2794 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(tx_port, -ENODEV);
2795 : 0 : dev = &rte_eth_devices[tx_port];
2796 : :
2797 [ # # ]: 0 : if (dev->data->dev_started == 0) {
2798 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Tx port %d is already stopped", tx_port);
2799 : 0 : return -EBUSY;
2800 : : }
2801 : :
2802 [ # # ]: 0 : if (*dev->dev_ops->hairpin_unbind == NULL)
2803 : : return -ENOTSUP;
2804 : 0 : ret = (*dev->dev_ops->hairpin_unbind)(dev, rx_port);
2805 [ # # ]: 0 : if (ret != 0)
2806 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Failed to unbind hairpin Tx %d"
2807 : : " from Rx %d (%d - all ports)",
2808 : : tx_port, rx_port, RTE_MAX_ETHPORTS);
2809 : :
2810 : 0 : rte_eth_trace_hairpin_unbind(tx_port, rx_port, ret);
2811 : :
2812 : 0 : return ret;
2813 : : }
2814 : :
2815 : : int
2816 : 0 : rte_eth_hairpin_get_peer_ports(uint16_t port_id, uint16_t *peer_ports,
2817 : : size_t len, uint32_t direction)
2818 : : {
2819 : : struct rte_eth_dev *dev;
2820 : : int ret;
2821 : :
2822 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
2823 : 0 : dev = &rte_eth_devices[port_id];
2824 : :
2825 [ # # ]: 0 : if (peer_ports == NULL) {
2826 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2827 : : "Cannot get ethdev port %u hairpin peer ports to NULL",
2828 : : port_id);
2829 : 0 : return -EINVAL;
2830 : : }
2831 : :
2832 [ # # ]: 0 : if (len == 0) {
2833 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2834 : : "Cannot get ethdev port %u hairpin peer ports to array with zero size",
2835 : : port_id);
2836 : 0 : return -EINVAL;
2837 : : }
2838 : :
2839 [ # # ]: 0 : if (*dev->dev_ops->hairpin_get_peer_ports == NULL)
2840 : : return -ENOTSUP;
2841 : :
2842 : 0 : ret = (*dev->dev_ops->hairpin_get_peer_ports)(dev, peer_ports,
2843 : : len, direction);
2844 [ # # ]: 0 : if (ret < 0)
2845 [ # # ]: 0 : RTE_ETHDEV_LOG_LINE(ERR, "Failed to get %d hairpin peer %s ports",
2846 : : port_id, direction ? "Rx" : "Tx");
2847 : :
2848 : 0 : rte_eth_trace_hairpin_get_peer_ports(port_id, peer_ports, len,
2849 : : direction, ret);
2850 : :
2851 : 0 : return ret;
2852 : : }
2853 : :
2854 : : void
2855 : 0 : rte_eth_tx_buffer_drop_callback(struct rte_mbuf **pkts, uint16_t unsent,
2856 : : void *userdata __rte_unused)
2857 : : {
2858 : 0 : rte_pktmbuf_free_bulk(pkts, unsent);
2859 : :
2860 : : rte_eth_trace_tx_buffer_drop_callback((void **)pkts, unsent);
2861 : 0 : }
2862 : :
2863 : : void
2864 : 0 : rte_eth_tx_buffer_count_callback(struct rte_mbuf **pkts, uint16_t unsent,
2865 : : void *userdata)
2866 : : {
2867 : : uint64_t *count = userdata;
2868 : :
2869 : 0 : rte_pktmbuf_free_bulk(pkts, unsent);
2870 : 0 : *count += unsent;
2871 : :
2872 : : rte_eth_trace_tx_buffer_count_callback((void **)pkts, unsent, *count);
2873 : 0 : }
2874 : :
2875 : : int
2876 : 108 : rte_eth_tx_buffer_set_err_callback(struct rte_eth_dev_tx_buffer *buffer,
2877 : : buffer_tx_error_fn cbfn, void *userdata)
2878 : : {
2879 [ - + ]: 108 : if (buffer == NULL) {
2880 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
2881 : : "Cannot set Tx buffer error callback to NULL buffer");
2882 : 0 : return -EINVAL;
2883 : : }
2884 : :
2885 : 108 : buffer->error_callback = cbfn;
2886 [ - + ]: 108 : buffer->error_userdata = userdata;
2887 : :
2888 : : rte_eth_trace_tx_buffer_set_err_callback(buffer);
2889 : :
2890 : : return 0;
2891 : : }
2892 : :
2893 : : int
2894 : 54 : rte_eth_tx_buffer_init(struct rte_eth_dev_tx_buffer *buffer, uint16_t size)
2895 : : {
2896 : : int ret = 0;
2897 : :
2898 [ - + ]: 54 : if (buffer == NULL) {
2899 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot initialize NULL buffer");
2900 : 0 : return -EINVAL;
2901 : : }
2902 : :
2903 : 54 : buffer->size = size;
2904 [ + - ]: 54 : if (buffer->error_callback == NULL) {
2905 : 54 : ret = rte_eth_tx_buffer_set_err_callback(
2906 : : buffer, rte_eth_tx_buffer_drop_callback, NULL);
2907 : : }
2908 : :
2909 : 54 : rte_eth_trace_tx_buffer_init(buffer, size, ret);
2910 : :
2911 : 54 : return ret;
2912 : : }
2913 : :
2914 : : int
2915 : 0 : rte_eth_tx_done_cleanup(uint16_t port_id, uint16_t queue_id, uint32_t free_cnt)
2916 : : {
2917 : : struct rte_eth_dev *dev;
2918 : : int ret;
2919 : :
2920 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
2921 : : dev = &rte_eth_devices[port_id];
2922 : :
2923 : : #ifdef RTE_ETHDEV_DEBUG_TX
2924 : : ret = eth_dev_validate_tx_queue(dev, queue_id);
2925 : : if (ret != 0)
2926 : : return ret;
2927 : : #endif
2928 : :
2929 [ # # ]: 0 : if (*dev->dev_ops->tx_done_cleanup == NULL)
2930 : : return -ENOTSUP;
2931 : :
2932 : : /* Call driver to free pending mbufs. */
2933 : 0 : ret = (*dev->dev_ops->tx_done_cleanup)(dev->data->tx_queues[queue_id],
2934 : : free_cnt);
2935 : 0 : ret = eth_err(port_id, ret);
2936 : :
2937 : 0 : rte_eth_trace_tx_done_cleanup(port_id, queue_id, free_cnt, ret);
2938 : :
2939 : 0 : return ret;
2940 : : }
2941 : :
2942 : : int
2943 : 2 : rte_eth_promiscuous_enable(uint16_t port_id)
2944 : : {
2945 : : struct rte_eth_dev *dev;
2946 : : int diag = 0;
2947 : :
2948 [ - + ]: 2 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
2949 : 2 : dev = &rte_eth_devices[port_id];
2950 : :
2951 [ - + ]: 2 : if (dev->data->promiscuous == 1)
2952 : : return 0;
2953 : :
2954 [ # # ]: 0 : if (*dev->dev_ops->promiscuous_enable == NULL)
2955 : : return -ENOTSUP;
2956 : :
2957 : 0 : diag = (*dev->dev_ops->promiscuous_enable)(dev);
2958 : 0 : dev->data->promiscuous = (diag == 0) ? 1 : 0;
2959 : :
2960 : 0 : diag = eth_err(port_id, diag);
2961 : :
2962 [ # # ]: 0 : rte_eth_trace_promiscuous_enable(port_id, dev->data->promiscuous,
2963 : : diag);
2964 : :
2965 : 0 : return diag;
2966 : : }
2967 : :
2968 : : int
2969 : 0 : rte_eth_promiscuous_disable(uint16_t port_id)
2970 : : {
2971 : : struct rte_eth_dev *dev;
2972 : : int diag = 0;
2973 : :
2974 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
2975 : 0 : dev = &rte_eth_devices[port_id];
2976 : :
2977 [ # # ]: 0 : if (dev->data->promiscuous == 0)
2978 : : return 0;
2979 : :
2980 [ # # ]: 0 : if (*dev->dev_ops->promiscuous_disable == NULL)
2981 : : return -ENOTSUP;
2982 : :
2983 : 0 : dev->data->promiscuous = 0;
2984 : 0 : diag = (*dev->dev_ops->promiscuous_disable)(dev);
2985 [ # # ]: 0 : if (diag != 0)
2986 : 0 : dev->data->promiscuous = 1;
2987 : :
2988 : 0 : diag = eth_err(port_id, diag);
2989 : :
2990 [ # # ]: 0 : rte_eth_trace_promiscuous_disable(port_id, dev->data->promiscuous,
2991 : : diag);
2992 : :
2993 : 0 : return diag;
2994 : : }
2995 : :
2996 : : int
2997 : 10 : rte_eth_promiscuous_get(uint16_t port_id)
2998 : : {
2999 : : struct rte_eth_dev *dev;
3000 : :
3001 [ - + ]: 10 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3002 : : dev = &rte_eth_devices[port_id];
3003 : :
3004 [ - + ]: 10 : rte_eth_trace_promiscuous_get(port_id, dev->data->promiscuous);
3005 : :
3006 : 10 : return dev->data->promiscuous;
3007 : : }
3008 : :
3009 : : int
3010 : 0 : rte_eth_allmulticast_enable(uint16_t port_id)
3011 : : {
3012 : : struct rte_eth_dev *dev;
3013 : : int diag;
3014 : :
3015 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3016 : 0 : dev = &rte_eth_devices[port_id];
3017 : :
3018 [ # # ]: 0 : if (dev->data->all_multicast == 1)
3019 : : return 0;
3020 : :
3021 [ # # ]: 0 : if (*dev->dev_ops->allmulticast_enable == NULL)
3022 : : return -ENOTSUP;
3023 : 0 : diag = (*dev->dev_ops->allmulticast_enable)(dev);
3024 : 0 : dev->data->all_multicast = (diag == 0) ? 1 : 0;
3025 : :
3026 : 0 : diag = eth_err(port_id, diag);
3027 : :
3028 [ # # ]: 0 : rte_eth_trace_allmulticast_enable(port_id, dev->data->all_multicast,
3029 : : diag);
3030 : :
3031 : 0 : return diag;
3032 : : }
3033 : :
3034 : : int
3035 : 0 : rte_eth_allmulticast_disable(uint16_t port_id)
3036 : : {
3037 : : struct rte_eth_dev *dev;
3038 : : int diag;
3039 : :
3040 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3041 : 0 : dev = &rte_eth_devices[port_id];
3042 : :
3043 [ # # ]: 0 : if (dev->data->all_multicast == 0)
3044 : : return 0;
3045 : :
3046 [ # # ]: 0 : if (*dev->dev_ops->allmulticast_disable == NULL)
3047 : : return -ENOTSUP;
3048 : 0 : dev->data->all_multicast = 0;
3049 : 0 : diag = (*dev->dev_ops->allmulticast_disable)(dev);
3050 [ # # ]: 0 : if (diag != 0)
3051 : 0 : dev->data->all_multicast = 1;
3052 : :
3053 : 0 : diag = eth_err(port_id, diag);
3054 : :
3055 [ # # ]: 0 : rte_eth_trace_allmulticast_disable(port_id, dev->data->all_multicast,
3056 : : diag);
3057 : :
3058 : 0 : return diag;
3059 : : }
3060 : :
3061 : : int
3062 : 10 : rte_eth_allmulticast_get(uint16_t port_id)
3063 : : {
3064 : : struct rte_eth_dev *dev;
3065 : :
3066 [ - + ]: 10 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3067 : : dev = &rte_eth_devices[port_id];
3068 : :
3069 [ - + ]: 10 : rte_eth_trace_allmulticast_get(port_id, dev->data->all_multicast);
3070 : :
3071 : 10 : return dev->data->all_multicast;
3072 : : }
3073 : :
3074 : : int
3075 : 7 : rte_eth_link_get(uint16_t port_id, struct rte_eth_link *eth_link)
3076 : : {
3077 : : struct rte_eth_dev *dev;
3078 : :
3079 [ - + ]: 7 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3080 : 7 : dev = &rte_eth_devices[port_id];
3081 : :
3082 [ - + ]: 7 : if (eth_link == NULL) {
3083 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot get ethdev port %u link to NULL",
3084 : : port_id);
3085 : 0 : return -EINVAL;
3086 : : }
3087 : :
3088 [ - + - - ]: 7 : if (dev->data->dev_conf.intr_conf.lsc && dev->data->dev_started)
3089 : 0 : rte_eth_linkstatus_get(dev, eth_link);
3090 : : else {
3091 [ + - ]: 7 : if (*dev->dev_ops->link_update == NULL)
3092 : : return -ENOTSUP;
3093 : 7 : (*dev->dev_ops->link_update)(dev, 1);
3094 : 7 : *eth_link = dev->data->dev_link;
3095 : : }
3096 : :
3097 : : rte_eth_trace_link_get(port_id, eth_link);
3098 : :
3099 : : return 0;
3100 : : }
3101 : :
3102 : : int
3103 : 0 : rte_eth_link_get_nowait(uint16_t port_id, struct rte_eth_link *eth_link)
3104 : : {
3105 : : struct rte_eth_dev *dev;
3106 : :
3107 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3108 : 0 : dev = &rte_eth_devices[port_id];
3109 : :
3110 [ # # ]: 0 : if (eth_link == NULL) {
3111 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot get ethdev port %u link to NULL",
3112 : : port_id);
3113 : 0 : return -EINVAL;
3114 : : }
3115 : :
3116 [ # # # # ]: 0 : if (dev->data->dev_conf.intr_conf.lsc && dev->data->dev_started)
3117 : 0 : rte_eth_linkstatus_get(dev, eth_link);
3118 : : else {
3119 [ # # ]: 0 : if (*dev->dev_ops->link_update == NULL)
3120 : : return -ENOTSUP;
3121 : 0 : (*dev->dev_ops->link_update)(dev, 0);
3122 : 0 : *eth_link = dev->data->dev_link;
3123 : : }
3124 : :
3125 : 0 : rte_eth_trace_link_get_nowait(port_id, eth_link);
3126 : :
3127 : 0 : return 0;
3128 : : }
3129 : :
3130 : : const char *
3131 : 23 : rte_eth_link_speed_to_str(uint32_t link_speed)
3132 : : {
3133 : : const char *ret;
3134 : :
3135 [ + + + + : 23 : switch (link_speed) {
+ + + + +
+ + + + +
+ + + ]
3136 : : case RTE_ETH_SPEED_NUM_NONE:
3137 : : ret = "None";
3138 : : break;
3139 : 2 : case RTE_ETH_SPEED_NUM_10M:
3140 : : ret = "10 Mbps";
3141 : 2 : break;
3142 : 1 : case RTE_ETH_SPEED_NUM_100M:
3143 : : ret = "100 Mbps";
3144 : 1 : break;
3145 : 1 : case RTE_ETH_SPEED_NUM_1G:
3146 : : ret = "1 Gbps";
3147 : 1 : break;
3148 : 2 : case RTE_ETH_SPEED_NUM_2_5G:
3149 : : ret = "2.5 Gbps";
3150 : 2 : break;
3151 : 1 : case RTE_ETH_SPEED_NUM_5G:
3152 : : ret = "5 Gbps";
3153 : 1 : break;
3154 : 1 : case RTE_ETH_SPEED_NUM_10G:
3155 : : ret = "10 Gbps";
3156 : 1 : break;
3157 : 1 : case RTE_ETH_SPEED_NUM_20G:
3158 : : ret = "20 Gbps";
3159 : 1 : break;
3160 : 1 : case RTE_ETH_SPEED_NUM_25G:
3161 : : ret = "25 Gbps";
3162 : 1 : break;
3163 : 1 : case RTE_ETH_SPEED_NUM_40G:
3164 : : ret = "40 Gbps";
3165 : 1 : break;
3166 : 1 : case RTE_ETH_SPEED_NUM_50G:
3167 : : ret = "50 Gbps";
3168 : 1 : break;
3169 : 1 : case RTE_ETH_SPEED_NUM_56G:
3170 : : ret = "56 Gbps";
3171 : 1 : break;
3172 : 1 : case RTE_ETH_SPEED_NUM_100G:
3173 : : ret = "100 Gbps";
3174 : 1 : break;
3175 : 1 : case RTE_ETH_SPEED_NUM_200G:
3176 : : ret = "200 Gbps";
3177 : 1 : break;
3178 : 2 : case RTE_ETH_SPEED_NUM_400G:
3179 : : ret = "400 Gbps";
3180 : 2 : break;
3181 : 2 : case RTE_ETH_SPEED_NUM_UNKNOWN:
3182 : : ret = "Unknown";
3183 : 2 : break;
3184 : 2 : default:
3185 : : ret = "Invalid";
3186 : : }
3187 : :
3188 : : rte_eth_trace_link_speed_to_str(link_speed, ret);
3189 : :
3190 : 23 : return ret;
3191 : : }
3192 : :
3193 : : int
3194 : 7 : rte_eth_link_to_str(char *str, size_t len, const struct rte_eth_link *eth_link)
3195 : : {
3196 : : int ret;
3197 : :
3198 [ - + ]: 7 : if (str == NULL) {
3199 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot convert link to NULL string");
3200 : 0 : return -EINVAL;
3201 : : }
3202 : :
3203 [ - + ]: 7 : if (len == 0) {
3204 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
3205 : : "Cannot convert link to string with zero size");
3206 : 0 : return -EINVAL;
3207 : : }
3208 : :
3209 [ - + ]: 7 : if (eth_link == NULL) {
3210 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot convert to string from NULL link");
3211 : 0 : return -EINVAL;
3212 : : }
3213 : :
3214 [ + + ]: 7 : if (eth_link->link_status == RTE_ETH_LINK_DOWN)
3215 : : ret = snprintf(str, len, "Link down");
3216 : : else
3217 : 18 : ret = snprintf(str, len, "Link up at %s %s %s",
3218 : 6 : rte_eth_link_speed_to_str(eth_link->link_speed),
3219 [ + + ]: 6 : (eth_link->link_duplex == RTE_ETH_LINK_FULL_DUPLEX) ?
3220 : : "FDX" : "HDX",
3221 [ + + ]: 6 : (eth_link->link_autoneg == RTE_ETH_LINK_AUTONEG) ?
3222 : : "Autoneg" : "Fixed");
3223 : :
3224 : 7 : rte_eth_trace_link_to_str(len, eth_link, str, ret);
3225 : :
3226 : 7 : return ret;
3227 : : }
3228 : :
3229 : : int
3230 : 19 : rte_eth_stats_get(uint16_t port_id, struct rte_eth_stats *stats)
3231 : : {
3232 : : struct rte_eth_dev *dev;
3233 : : int ret;
3234 : :
3235 [ + + ]: 19 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3236 : 16 : dev = &rte_eth_devices[port_id];
3237 : :
3238 [ - + ]: 16 : if (stats == NULL) {
3239 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot get ethdev port %u stats to NULL",
3240 : : port_id);
3241 : 0 : return -EINVAL;
3242 : : }
3243 : :
3244 : : memset(stats, 0, sizeof(*stats));
3245 : :
3246 [ + - ]: 16 : if (*dev->dev_ops->stats_get == NULL)
3247 : : return -ENOTSUP;
3248 : 16 : stats->rx_nombuf = dev->data->rx_mbuf_alloc_failed;
3249 : 16 : ret = eth_err(port_id, (*dev->dev_ops->stats_get)(dev, stats));
3250 : :
3251 : : rte_eth_trace_stats_get(port_id, stats, ret);
3252 : :
3253 : 16 : return ret;
3254 : : }
3255 : :
3256 : : int
3257 : 4 : rte_eth_stats_reset(uint16_t port_id)
3258 : : {
3259 : : struct rte_eth_dev *dev;
3260 : : int ret;
3261 : :
3262 [ - + ]: 4 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3263 : 4 : dev = &rte_eth_devices[port_id];
3264 : :
3265 [ + - ]: 4 : if (*dev->dev_ops->stats_reset == NULL)
3266 : : return -ENOTSUP;
3267 : 4 : ret = (*dev->dev_ops->stats_reset)(dev);
3268 [ - + ]: 4 : if (ret != 0)
3269 : 0 : return eth_err(port_id, ret);
3270 : :
3271 [ - + ]: 4 : dev->data->rx_mbuf_alloc_failed = 0;
3272 : :
3273 : 4 : rte_eth_trace_stats_reset(port_id);
3274 : :
3275 : 4 : return 0;
3276 : : }
3277 : :
3278 : : static inline int
3279 : : eth_dev_get_xstats_basic_count(struct rte_eth_dev *dev)
3280 : : {
3281 : : uint16_t nb_rxqs, nb_txqs;
3282 : : int count;
3283 : :
3284 : 0 : nb_rxqs = RTE_MIN(dev->data->nb_rx_queues, RTE_ETHDEV_QUEUE_STAT_CNTRS);
3285 : 0 : nb_txqs = RTE_MIN(dev->data->nb_tx_queues, RTE_ETHDEV_QUEUE_STAT_CNTRS);
3286 : :
3287 : : count = RTE_NB_STATS;
3288 [ # # ]: 0 : if (dev->data->dev_flags & RTE_ETH_DEV_AUTOFILL_QUEUE_XSTATS) {
3289 : 0 : count += nb_rxqs * RTE_NB_RXQ_STATS;
3290 : 0 : count += nb_txqs * RTE_NB_TXQ_STATS;
3291 : : }
3292 : :
3293 : : return count;
3294 : : }
3295 : :
3296 : : static int
3297 : 0 : eth_dev_get_xstats_count(uint16_t port_id)
3298 : : {
3299 : : struct rte_eth_dev *dev;
3300 : : int count;
3301 : :
3302 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3303 : 0 : dev = &rte_eth_devices[port_id];
3304 [ # # ]: 0 : if (dev->dev_ops->xstats_get_names != NULL) {
3305 : 0 : count = (*dev->dev_ops->xstats_get_names)(dev, NULL, 0);
3306 [ # # ]: 0 : if (count < 0)
3307 : 0 : return eth_err(port_id, count);
3308 : : } else
3309 : : count = 0;
3310 : :
3311 : :
3312 : 0 : count += eth_dev_get_xstats_basic_count(dev);
3313 : :
3314 : 0 : return count;
3315 : : }
3316 : :
3317 : : int
3318 : 0 : rte_eth_xstats_get_id_by_name(uint16_t port_id, const char *xstat_name,
3319 : : uint64_t *id)
3320 : : {
3321 : : int cnt_xstats, idx_xstat, rc;
3322 : : struct rte_eth_xstat_name *xstats_names;
3323 : :
3324 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3325 : :
3326 [ # # ]: 0 : if (xstat_name == NULL) {
3327 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
3328 : : "Cannot get ethdev port %u xstats ID from NULL xstat name",
3329 : : port_id);
3330 : 0 : return -ENOMEM;
3331 : : }
3332 : :
3333 [ # # ]: 0 : if (id == NULL) {
3334 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
3335 : : "Cannot get ethdev port %u xstats ID to NULL",
3336 : : port_id);
3337 : 0 : return -ENOMEM;
3338 : : }
3339 : :
3340 : : /* Get count */
3341 : 0 : cnt_xstats = rte_eth_xstats_get_names_by_id(port_id, NULL, 0, NULL);
3342 [ # # ]: 0 : if (cnt_xstats < 0) {
3343 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot get count of xstats");
3344 : 0 : return -ENODEV;
3345 : : }
3346 : :
3347 : : /* Get id-name lookup table */
3348 : 0 : xstats_names = calloc(cnt_xstats, sizeof(xstats_names[0]));
3349 [ # # ]: 0 : if (xstats_names == NULL) {
3350 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Can't allocate memory");
3351 : 0 : return -ENOMEM;
3352 : : }
3353 : :
3354 [ # # ]: 0 : if (cnt_xstats != rte_eth_xstats_get_names_by_id(
3355 : : port_id, xstats_names, cnt_xstats, NULL)) {
3356 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot get xstats lookup");
3357 : 0 : free(xstats_names);
3358 : 0 : return -1;
3359 : : }
3360 : :
3361 : : rc = -EINVAL;
3362 [ # # ]: 0 : for (idx_xstat = 0; idx_xstat < cnt_xstats; idx_xstat++) {
3363 [ # # ]: 0 : if (!strcmp(xstats_names[idx_xstat].name, xstat_name)) {
3364 [ # # ]: 0 : *id = idx_xstat;
3365 : :
3366 : 0 : rte_eth_trace_xstats_get_id_by_name(port_id,
3367 : : xstat_name, *id);
3368 : : rc = 0;
3369 : 0 : break;
3370 : : };
3371 : : }
3372 : :
3373 : 0 : free(xstats_names);
3374 : 0 : return rc;
3375 : : }
3376 : :
3377 : : /* retrieve basic stats names */
3378 : : static int
3379 : 0 : eth_basic_stats_get_names(struct rte_eth_dev *dev,
3380 : : struct rte_eth_xstat_name *xstats_names)
3381 : : {
3382 : : int cnt_used_entries = 0;
3383 : : uint32_t idx, id_queue;
3384 : : uint16_t num_q;
3385 : :
3386 [ # # ]: 0 : for (idx = 0; idx < RTE_NB_STATS; idx++) {
3387 : 0 : strlcpy(xstats_names[cnt_used_entries].name,
3388 : : eth_dev_stats_strings[idx].name,
3389 : : sizeof(xstats_names[0].name));
3390 : 0 : cnt_used_entries++;
3391 : : }
3392 : :
3393 [ # # ]: 0 : if ((dev->data->dev_flags & RTE_ETH_DEV_AUTOFILL_QUEUE_XSTATS) == 0)
3394 : : return cnt_used_entries;
3395 : :
3396 : 0 : num_q = RTE_MIN(dev->data->nb_rx_queues, RTE_ETHDEV_QUEUE_STAT_CNTRS);
3397 [ # # ]: 0 : for (id_queue = 0; id_queue < num_q; id_queue++) {
3398 [ # # ]: 0 : for (idx = 0; idx < RTE_NB_RXQ_STATS; idx++) {
3399 : 0 : snprintf(xstats_names[cnt_used_entries].name,
3400 : : sizeof(xstats_names[0].name),
3401 : : "rx_q%u_%s",
3402 : 0 : id_queue, eth_dev_rxq_stats_strings[idx].name);
3403 : 0 : cnt_used_entries++;
3404 : : }
3405 : :
3406 : : }
3407 : 0 : num_q = RTE_MIN(dev->data->nb_tx_queues, RTE_ETHDEV_QUEUE_STAT_CNTRS);
3408 [ # # ]: 0 : for (id_queue = 0; id_queue < num_q; id_queue++) {
3409 [ # # ]: 0 : for (idx = 0; idx < RTE_NB_TXQ_STATS; idx++) {
3410 : 0 : snprintf(xstats_names[cnt_used_entries].name,
3411 : : sizeof(xstats_names[0].name),
3412 : : "tx_q%u_%s",
3413 : 0 : id_queue, eth_dev_txq_stats_strings[idx].name);
3414 : 0 : cnt_used_entries++;
3415 : : }
3416 : : }
3417 : : return cnt_used_entries;
3418 : : }
3419 : :
3420 : : static int
3421 : 0 : eth_xstats_get_by_name_by_id(struct rte_eth_dev *dev, const uint64_t *ids,
3422 : : struct rte_eth_xstat_name *xstats_names, uint32_t size,
3423 : : uint32_t basic_count)
3424 : : {
3425 : : int32_t rc;
3426 : : uint32_t i, k, m, n;
3427 : : uint64_t ids_copy[ETH_XSTATS_ITER_NUM];
3428 : :
3429 : : m = 0;
3430 [ # # ]: 0 : for (n = 0; n != size; n += k) {
3431 : :
3432 : 0 : k = RTE_MIN(size - n, RTE_DIM(ids_copy));
3433 : :
3434 : : /*
3435 : : * Convert ids to xstats ids that PMD knows.
3436 : : * ids known by user are basic + extended stats.
3437 : : */
3438 [ # # ]: 0 : for (i = 0; i < k; i++)
3439 : 0 : ids_copy[i] = ids[n + i] - basic_count;
3440 : :
3441 : 0 : rc = (*dev->dev_ops->xstats_get_names_by_id)(dev, ids_copy,
3442 : 0 : xstats_names + m, k);
3443 [ # # ]: 0 : if (rc < 0)
3444 : 0 : return rc;
3445 : 0 : m += rc;
3446 : : }
3447 : :
3448 : 0 : return m;
3449 : : }
3450 : :
3451 : :
3452 : : /* retrieve ethdev extended statistics names */
3453 : : int
3454 : 0 : rte_eth_xstats_get_names_by_id(uint16_t port_id,
3455 : : struct rte_eth_xstat_name *xstats_names, unsigned int size,
3456 : : uint64_t *ids)
3457 : : {
3458 : : struct rte_eth_xstat_name *xstats_names_copy;
3459 : : unsigned int expected_entries;
3460 : : unsigned int nb_basic_stats;
3461 : : unsigned int basic_count;
3462 : : struct rte_eth_dev *dev;
3463 : : unsigned int i;
3464 : : int ret;
3465 : :
3466 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3467 [ # # ]: 0 : dev = &rte_eth_devices[port_id];
3468 : :
3469 : 0 : basic_count = eth_dev_get_xstats_basic_count(dev);
3470 : 0 : ret = eth_dev_get_xstats_count(port_id);
3471 [ # # ]: 0 : if (ret < 0)
3472 : : return ret;
3473 : 0 : expected_entries = (unsigned int)ret;
3474 : :
3475 : : /* Return max number of stats if no ids given */
3476 [ # # ]: 0 : if (!ids) {
3477 [ # # ]: 0 : if (!xstats_names)
3478 : : return expected_entries;
3479 [ # # ]: 0 : else if (xstats_names && size < expected_entries)
3480 : : return expected_entries;
3481 : : }
3482 : :
3483 [ # # ]: 0 : if (ids && !xstats_names)
3484 : : return -EINVAL;
3485 : :
3486 : : nb_basic_stats = 0;
3487 [ # # ]: 0 : if (ids != NULL) {
3488 [ # # ]: 0 : for (i = 0; i < size; i++)
3489 : 0 : nb_basic_stats += (ids[i] < basic_count);
3490 : : }
3491 : :
3492 : : /* no basic stats requested, devops function provided */
3493 [ # # # # ]: 0 : if (nb_basic_stats == 0 && ids != NULL && size != 0 &&
3494 [ # # ]: 0 : dev->dev_ops->xstats_get_names_by_id != NULL)
3495 : 0 : return eth_xstats_get_by_name_by_id(dev, ids, xstats_names,
3496 : : size, basic_count);
3497 : :
3498 : : /* Retrieve all stats */
3499 [ # # ]: 0 : if (!ids) {
3500 : 0 : int num_stats = rte_eth_xstats_get_names(port_id, xstats_names,
3501 : : expected_entries);
3502 [ # # ]: 0 : if (num_stats < 0 || num_stats > (int)expected_entries)
3503 : : return num_stats;
3504 : : else
3505 : 0 : return expected_entries;
3506 : : }
3507 : :
3508 : 0 : xstats_names_copy = calloc(expected_entries,
3509 : : sizeof(struct rte_eth_xstat_name));
3510 : :
3511 [ # # ]: 0 : if (!xstats_names_copy) {
3512 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Can't allocate memory");
3513 : 0 : return -ENOMEM;
3514 : : }
3515 : :
3516 : : /* Fill xstats_names_copy structure */
3517 [ # # ]: 0 : if (ids && nb_basic_stats == size) {
3518 : 0 : eth_basic_stats_get_names(dev, xstats_names_copy);
3519 : : } else {
3520 : 0 : ret = rte_eth_xstats_get_names(port_id, xstats_names_copy,
3521 : : expected_entries);
3522 [ # # ]: 0 : if (ret < 0) {
3523 : 0 : free(xstats_names_copy);
3524 : 0 : return ret;
3525 : : }
3526 : : }
3527 : :
3528 : : /* Filter stats */
3529 [ # # ]: 0 : for (i = 0; i < size; i++) {
3530 [ # # ]: 0 : if (ids[i] >= expected_entries) {
3531 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Id value isn't valid");
3532 : 0 : free(xstats_names_copy);
3533 : 0 : return -1;
3534 : : }
3535 [ # # ]: 0 : xstats_names[i] = xstats_names_copy[ids[i]];
3536 : :
3537 : 0 : rte_eth_trace_xstats_get_names_by_id(port_id, &xstats_names[i],
3538 : : ids[i]);
3539 : : }
3540 : :
3541 : 0 : free(xstats_names_copy);
3542 : 0 : return size;
3543 : : }
3544 : :
3545 : : int
3546 : 0 : rte_eth_xstats_get_names(uint16_t port_id,
3547 : : struct rte_eth_xstat_name *xstats_names,
3548 : : unsigned int size)
3549 : : {
3550 : : struct rte_eth_dev *dev;
3551 : : int cnt_used_entries;
3552 : : int cnt_expected_entries;
3553 : : int cnt_driver_entries;
3554 : : int i;
3555 : :
3556 : 0 : cnt_expected_entries = eth_dev_get_xstats_count(port_id);
3557 [ # # ]: 0 : if (xstats_names == NULL || cnt_expected_entries < 0 ||
3558 [ # # ]: 0 : (int)size < cnt_expected_entries)
3559 : : return cnt_expected_entries;
3560 : :
3561 : : /* port_id checked in eth_dev_get_xstats_count() */
3562 : 0 : dev = &rte_eth_devices[port_id];
3563 : :
3564 : 0 : cnt_used_entries = eth_basic_stats_get_names(dev, xstats_names);
3565 : :
3566 [ # # ]: 0 : if (dev->dev_ops->xstats_get_names != NULL) {
3567 : : /* If there are any driver-specific xstats, append them
3568 : : * to end of list.
3569 : : */
3570 : 0 : cnt_driver_entries = (*dev->dev_ops->xstats_get_names)(
3571 : : dev,
3572 : 0 : xstats_names + cnt_used_entries,
3573 : : size - cnt_used_entries);
3574 [ # # ]: 0 : if (cnt_driver_entries < 0)
3575 : 0 : return eth_err(port_id, cnt_driver_entries);
3576 : 0 : cnt_used_entries += cnt_driver_entries;
3577 : : }
3578 : :
3579 [ # # ]: 0 : for (i = 0; i < cnt_used_entries; i++)
3580 [ # # ]: 0 : rte_eth_trace_xstats_get_names(port_id, i, &xstats_names[i],
3581 : : size, cnt_used_entries);
3582 : :
3583 : : return cnt_used_entries;
3584 : : }
3585 : :
3586 : :
3587 : : static int
3588 : 0 : eth_basic_stats_get(uint16_t port_id, struct rte_eth_xstat *xstats)
3589 : : {
3590 : : struct rte_eth_dev *dev;
3591 : : struct rte_eth_stats eth_stats;
3592 : : unsigned int count = 0, i, q;
3593 : : uint64_t val, *stats_ptr;
3594 : : uint16_t nb_rxqs, nb_txqs;
3595 : : int ret;
3596 : :
3597 : 0 : ret = rte_eth_stats_get(port_id, ð_stats);
3598 [ # # ]: 0 : if (ret < 0)
3599 : : return ret;
3600 : :
3601 : : dev = &rte_eth_devices[port_id];
3602 : :
3603 : 0 : nb_rxqs = RTE_MIN(dev->data->nb_rx_queues, RTE_ETHDEV_QUEUE_STAT_CNTRS);
3604 : 0 : nb_txqs = RTE_MIN(dev->data->nb_tx_queues, RTE_ETHDEV_QUEUE_STAT_CNTRS);
3605 : :
3606 : : /* global stats */
3607 [ # # ]: 0 : for (i = 0; i < RTE_NB_STATS; i++) {
3608 : 0 : stats_ptr = RTE_PTR_ADD(ð_stats,
3609 : : eth_dev_stats_strings[i].offset);
3610 : 0 : val = *stats_ptr;
3611 : 0 : xstats[count++].value = val;
3612 : : }
3613 : :
3614 [ # # ]: 0 : if ((dev->data->dev_flags & RTE_ETH_DEV_AUTOFILL_QUEUE_XSTATS) == 0)
3615 : : return count;
3616 : :
3617 : : /* per-rxq stats */
3618 [ # # ]: 0 : for (q = 0; q < nb_rxqs; q++) {
3619 [ # # ]: 0 : for (i = 0; i < RTE_NB_RXQ_STATS; i++) {
3620 : 0 : stats_ptr = RTE_PTR_ADD(ð_stats,
3621 : : eth_dev_rxq_stats_strings[i].offset +
3622 : : q * sizeof(uint64_t));
3623 : 0 : val = *stats_ptr;
3624 : 0 : xstats[count++].value = val;
3625 : : }
3626 : : }
3627 : :
3628 : : /* per-txq stats */
3629 [ # # ]: 0 : for (q = 0; q < nb_txqs; q++) {
3630 [ # # ]: 0 : for (i = 0; i < RTE_NB_TXQ_STATS; i++) {
3631 : 0 : stats_ptr = RTE_PTR_ADD(ð_stats,
3632 : : eth_dev_txq_stats_strings[i].offset +
3633 : : q * sizeof(uint64_t));
3634 : 0 : val = *stats_ptr;
3635 : 0 : xstats[count++].value = val;
3636 : : }
3637 : : }
3638 : 0 : return count;
3639 : : }
3640 : :
3641 : : static int
3642 : 0 : eth_xtats_get_by_id(struct rte_eth_dev *dev, const uint64_t *ids,
3643 : : uint64_t *values, uint32_t size, uint32_t basic_count)
3644 : : {
3645 : : int32_t rc;
3646 : : uint32_t i, k, m, n;
3647 : : uint64_t ids_copy[ETH_XSTATS_ITER_NUM];
3648 : :
3649 : : m = 0;
3650 [ # # ]: 0 : for (n = 0; n != size; n += k) {
3651 : :
3652 : 0 : k = RTE_MIN(size - n, RTE_DIM(ids_copy));
3653 : :
3654 : : /*
3655 : : * Convert ids to xstats ids that PMD knows.
3656 : : * ids known by user are basic + extended stats.
3657 : : */
3658 [ # # ]: 0 : for (i = 0; i < k; i++)
3659 : 0 : ids_copy[i] = ids[n + i] - basic_count;
3660 : :
3661 : 0 : rc = (*dev->dev_ops->xstats_get_by_id)(dev, ids_copy,
3662 : 0 : values + m, k);
3663 [ # # ]: 0 : if (rc < 0)
3664 : 0 : return rc;
3665 : 0 : m += rc;
3666 : : }
3667 : :
3668 : 0 : return m;
3669 : : }
3670 : :
3671 : : /* retrieve ethdev extended statistics */
3672 : : int
3673 : 0 : rte_eth_xstats_get_by_id(uint16_t port_id, const uint64_t *ids,
3674 : : uint64_t *values, unsigned int size)
3675 : : {
3676 : : unsigned int nb_basic_stats;
3677 : : unsigned int num_xstats_filled;
3678 : : unsigned int basic_count;
3679 : : uint16_t expected_entries;
3680 : : struct rte_eth_dev *dev;
3681 : : struct rte_eth_xstat *xstats;
3682 : : unsigned int i;
3683 : : int ret;
3684 : :
3685 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3686 : 0 : dev = &rte_eth_devices[port_id];
3687 : :
3688 : 0 : ret = eth_dev_get_xstats_count(port_id);
3689 [ # # ]: 0 : if (ret < 0)
3690 : : return ret;
3691 [ # # ]: 0 : expected_entries = (uint16_t)ret;
3692 : 0 : basic_count = eth_dev_get_xstats_basic_count(dev);
3693 : :
3694 : : /* Return max number of stats if no ids given */
3695 [ # # ]: 0 : if (!ids) {
3696 [ # # ]: 0 : if (!values)
3697 : 0 : return expected_entries;
3698 [ # # ]: 0 : else if (values && size < expected_entries)
3699 : : return expected_entries;
3700 : : }
3701 : :
3702 [ # # ]: 0 : if (ids && !values)
3703 : : return -EINVAL;
3704 : :
3705 : : nb_basic_stats = 0;
3706 [ # # ]: 0 : if (ids != NULL) {
3707 [ # # ]: 0 : for (i = 0; i < size; i++)
3708 : 0 : nb_basic_stats += (ids[i] < basic_count);
3709 : : }
3710 : :
3711 : : /* no basic stats requested, devops function provided */
3712 [ # # # # ]: 0 : if (nb_basic_stats == 0 && ids != NULL && size != 0 &&
3713 [ # # ]: 0 : dev->dev_ops->xstats_get_by_id != NULL)
3714 : 0 : return eth_xtats_get_by_id(dev, ids, values, size, basic_count);
3715 : :
3716 : 0 : xstats = calloc(expected_entries, sizeof(xstats[0]));
3717 [ # # ]: 0 : if (xstats == NULL) {
3718 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Can't allocate memory");
3719 : 0 : return -ENOMEM;
3720 : : }
3721 : :
3722 : : /* Fill the xstats structure */
3723 [ # # ]: 0 : if (ids && nb_basic_stats == size)
3724 : 0 : ret = eth_basic_stats_get(port_id, xstats);
3725 : : else
3726 : 0 : ret = rte_eth_xstats_get(port_id, xstats, expected_entries);
3727 : :
3728 [ # # ]: 0 : if (ret < 0) {
3729 : 0 : free(xstats);
3730 : 0 : return ret;
3731 : : }
3732 : 0 : num_xstats_filled = (unsigned int)ret;
3733 : :
3734 : : /* Return all stats */
3735 [ # # ]: 0 : if (!ids) {
3736 [ # # ]: 0 : for (i = 0; i < num_xstats_filled; i++)
3737 : 0 : values[i] = xstats[i].value;
3738 : :
3739 : 0 : free(xstats);
3740 : 0 : return expected_entries;
3741 : : }
3742 : :
3743 : : /* Filter stats */
3744 [ # # ]: 0 : for (i = 0; i < size; i++) {
3745 [ # # ]: 0 : if (ids[i] >= expected_entries) {
3746 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Id value isn't valid");
3747 : 0 : break;
3748 : : }
3749 : 0 : values[i] = xstats[ids[i]].value;
3750 : : }
3751 : :
3752 : 0 : rte_eth_trace_xstats_get_by_id(port_id, ids, values, size);
3753 : :
3754 : 0 : free(xstats);
3755 [ # # ]: 0 : return (i == size) ? (int32_t)size : -1;
3756 : : }
3757 : :
3758 : : int
3759 : 0 : rte_eth_xstats_get(uint16_t port_id, struct rte_eth_xstat *xstats,
3760 : : unsigned int n)
3761 : : {
3762 : : struct rte_eth_dev *dev;
3763 : : unsigned int count, i;
3764 : : signed int xcount = 0;
3765 : : int ret;
3766 : :
3767 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3768 [ # # ]: 0 : if (xstats == NULL && n > 0)
3769 : : return -EINVAL;
3770 [ # # ]: 0 : dev = &rte_eth_devices[port_id];
3771 : :
3772 : 0 : count = eth_dev_get_xstats_basic_count(dev);
3773 : :
3774 : : /* implemented by the driver */
3775 [ # # ]: 0 : if (dev->dev_ops->xstats_get != NULL) {
3776 : : /* Retrieve the xstats from the driver at the end of the
3777 : : * xstats struct.
3778 : : */
3779 [ # # # # ]: 0 : xcount = (*dev->dev_ops->xstats_get)(dev,
3780 : 0 : (n > count) ? xstats + count : NULL,
3781 : : (n > count) ? n - count : 0);
3782 : :
3783 [ # # ]: 0 : if (xcount < 0)
3784 : 0 : return eth_err(port_id, xcount);
3785 : : }
3786 : :
3787 [ # # # # ]: 0 : if (n < count + xcount || xstats == NULL)
3788 : 0 : return count + xcount;
3789 : :
3790 : : /* now fill the xstats structure */
3791 : 0 : ret = eth_basic_stats_get(port_id, xstats);
3792 [ # # ]: 0 : if (ret < 0)
3793 : : return ret;
3794 : 0 : count = ret;
3795 : :
3796 [ # # ]: 0 : for (i = 0; i < count; i++)
3797 : 0 : xstats[i].id = i;
3798 : : /* add an offset to driver-specific stats */
3799 [ # # ]: 0 : for ( ; i < count + xcount; i++)
3800 : 0 : xstats[i].id += count;
3801 : :
3802 [ # # ]: 0 : for (i = 0; i < n; i++)
3803 [ # # ]: 0 : rte_eth_trace_xstats_get(port_id, xstats[i]);
3804 : :
3805 : 0 : return count + xcount;
3806 : : }
3807 : :
3808 : : /* reset ethdev extended statistics */
3809 : : int
3810 : 0 : rte_eth_xstats_reset(uint16_t port_id)
3811 : : {
3812 : : struct rte_eth_dev *dev;
3813 : :
3814 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3815 : 0 : dev = &rte_eth_devices[port_id];
3816 : :
3817 : : /* implemented by the driver */
3818 [ # # ]: 0 : if (dev->dev_ops->xstats_reset != NULL) {
3819 : 0 : int ret = eth_err(port_id, (*dev->dev_ops->xstats_reset)(dev));
3820 : :
3821 : 0 : rte_eth_trace_xstats_reset(port_id, ret);
3822 : :
3823 : 0 : return ret;
3824 : : }
3825 : :
3826 : : /* fallback to default */
3827 : 0 : return rte_eth_stats_reset(port_id);
3828 : : }
3829 : :
3830 : : int
3831 : 0 : rte_eth_xstats_set_counter(uint16_t port_id, uint64_t id, int on_off)
3832 : : {
3833 : : struct rte_eth_dev *dev;
3834 : : unsigned int basic_count;
3835 : :
3836 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3837 : :
3838 [ # # ]: 0 : dev = &rte_eth_devices[port_id];
3839 : : basic_count = eth_dev_get_xstats_basic_count(dev);
3840 [ # # ]: 0 : if (id < basic_count)
3841 : : return -EINVAL;
3842 : :
3843 [ # # ]: 0 : if (on_off == 1) {
3844 [ # # ]: 0 : if (rte_eth_xstats_query_state(port_id, id) == 1)
3845 : : return -EEXIST;
3846 [ # # ]: 0 : if (dev->dev_ops->xstats_enable != NULL)
3847 : 0 : return (*dev->dev_ops->xstats_enable)(dev, id - basic_count);
3848 : : } else {
3849 [ # # ]: 0 : if (rte_eth_xstats_query_state(port_id, id) == 0)
3850 : : return 0;
3851 [ # # ]: 0 : if (dev->dev_ops->xstats_disable != NULL)
3852 : 0 : return (*dev->dev_ops->xstats_disable)(dev, id - basic_count);
3853 : : }
3854 : :
3855 : : return -ENOTSUP;
3856 : : }
3857 : :
3858 : :
3859 : : int
3860 : 0 : rte_eth_xstats_query_state(uint16_t port_id, uint64_t id)
3861 : : {
3862 : : struct rte_eth_dev *dev;
3863 : : unsigned int basic_count;
3864 : :
3865 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3866 : :
3867 [ # # ]: 0 : dev = &rte_eth_devices[port_id];
3868 : : basic_count = eth_dev_get_xstats_basic_count(dev);
3869 [ # # ]: 0 : if (id < basic_count)
3870 : : return -ENOTSUP;
3871 : :
3872 : : /* implemented by the driver */
3873 [ # # ]: 0 : if (dev->dev_ops->xstats_query_state != NULL)
3874 : 0 : return (*dev->dev_ops->xstats_query_state)(dev, id - basic_count);
3875 : :
3876 : : return -ENOTSUP;
3877 : : }
3878 : :
3879 : : static int
3880 : 0 : eth_dev_set_queue_stats_mapping(uint16_t port_id, uint16_t queue_id,
3881 : : uint8_t stat_idx, uint8_t is_rx)
3882 : : {
3883 : : struct rte_eth_dev *dev;
3884 : :
3885 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3886 : 0 : dev = &rte_eth_devices[port_id];
3887 : :
3888 [ # # # # ]: 0 : if (is_rx && (queue_id >= dev->data->nb_rx_queues))
3889 : : return -EINVAL;
3890 : :
3891 [ # # # # ]: 0 : if (!is_rx && (queue_id >= dev->data->nb_tx_queues))
3892 : : return -EINVAL;
3893 : :
3894 [ # # ]: 0 : if (stat_idx >= RTE_ETHDEV_QUEUE_STAT_CNTRS)
3895 : : return -EINVAL;
3896 : :
3897 [ # # ]: 0 : if (*dev->dev_ops->queue_stats_mapping_set == NULL)
3898 : : return -ENOTSUP;
3899 : 0 : return (*dev->dev_ops->queue_stats_mapping_set) (dev, queue_id, stat_idx, is_rx);
3900 : : }
3901 : :
3902 : : int
3903 : 0 : rte_eth_dev_set_tx_queue_stats_mapping(uint16_t port_id, uint16_t tx_queue_id,
3904 : : uint8_t stat_idx)
3905 : : {
3906 : : int ret;
3907 : :
3908 : 0 : ret = eth_err(port_id, eth_dev_set_queue_stats_mapping(port_id,
3909 : : tx_queue_id,
3910 : : stat_idx, STAT_QMAP_TX));
3911 : :
3912 : 0 : rte_ethdev_trace_set_tx_queue_stats_mapping(port_id, tx_queue_id,
3913 : : stat_idx, ret);
3914 : :
3915 : 0 : return ret;
3916 : : }
3917 : :
3918 : : int
3919 : 0 : rte_eth_dev_set_rx_queue_stats_mapping(uint16_t port_id, uint16_t rx_queue_id,
3920 : : uint8_t stat_idx)
3921 : : {
3922 : : int ret;
3923 : :
3924 : 0 : ret = eth_err(port_id, eth_dev_set_queue_stats_mapping(port_id,
3925 : : rx_queue_id,
3926 : : stat_idx, STAT_QMAP_RX));
3927 : :
3928 : 0 : rte_ethdev_trace_set_rx_queue_stats_mapping(port_id, rx_queue_id,
3929 : : stat_idx, ret);
3930 : :
3931 : 0 : return ret;
3932 : : }
3933 : :
3934 : : int
3935 : 0 : rte_eth_dev_fw_version_get(uint16_t port_id, char *fw_version, size_t fw_size)
3936 : : {
3937 : : struct rte_eth_dev *dev;
3938 : : int ret;
3939 : :
3940 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3941 : 0 : dev = &rte_eth_devices[port_id];
3942 : :
3943 [ # # ]: 0 : if (fw_version == NULL && fw_size > 0) {
3944 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
3945 : : "Cannot get ethdev port %u FW version to NULL when string size is non zero",
3946 : : port_id);
3947 : 0 : return -EINVAL;
3948 : : }
3949 : :
3950 [ # # ]: 0 : if (*dev->dev_ops->fw_version_get == NULL)
3951 : : return -ENOTSUP;
3952 : 0 : ret = eth_err(port_id, (*dev->dev_ops->fw_version_get)(dev,
3953 : : fw_version, fw_size));
3954 : :
3955 : 0 : rte_ethdev_trace_fw_version_get(port_id, fw_version, fw_size, ret);
3956 : :
3957 : 0 : return ret;
3958 : : }
3959 : :
3960 : : int
3961 : 118 : rte_eth_dev_info_get(uint16_t port_id, struct rte_eth_dev_info *dev_info)
3962 : : {
3963 : : struct rte_eth_dev *dev;
3964 : : const struct rte_eth_desc_lim lim = {
3965 : : .nb_max = UINT16_MAX,
3966 : : .nb_min = 0,
3967 : : .nb_align = 1,
3968 : : .nb_seg_max = UINT16_MAX,
3969 : : .nb_mtu_seg_max = UINT16_MAX,
3970 : : };
3971 : : int diag;
3972 : :
3973 [ - + ]: 118 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
3974 : 118 : dev = &rte_eth_devices[port_id];
3975 : :
3976 [ - + ]: 118 : if (dev_info == NULL) {
3977 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot get ethdev port %u info to NULL",
3978 : : port_id);
3979 : 0 : return -EINVAL;
3980 : : }
3981 : :
3982 : : /*
3983 : : * Init dev_info before port_id check since caller does not have
3984 : : * return status and does not know if get is successful or not.
3985 : : */
3986 : : memset(dev_info, 0, sizeof(struct rte_eth_dev_info));
3987 : 118 : dev_info->switch_info.domain_id = RTE_ETH_DEV_SWITCH_DOMAIN_ID_INVALID;
3988 : :
3989 : 118 : dev_info->rx_desc_lim = lim;
3990 : 118 : dev_info->tx_desc_lim = lim;
3991 : 118 : dev_info->device = dev->device;
3992 : 118 : dev_info->min_mtu = RTE_ETHER_MIN_LEN - RTE_ETHER_HDR_LEN -
3993 : : RTE_ETHER_CRC_LEN;
3994 : 118 : dev_info->max_mtu = UINT16_MAX;
3995 : 118 : dev_info->rss_algo_capa = RTE_ETH_HASH_ALGO_CAPA_MASK(DEFAULT);
3996 : 118 : dev_info->max_rx_bufsize = UINT32_MAX;
3997 : :
3998 [ + - ]: 118 : if (*dev->dev_ops->dev_infos_get == NULL)
3999 : : return -ENOTSUP;
4000 : 118 : diag = (*dev->dev_ops->dev_infos_get)(dev, dev_info);
4001 [ - + ]: 118 : if (diag != 0) {
4002 : : /* Cleanup already filled in device information */
4003 : : memset(dev_info, 0, sizeof(struct rte_eth_dev_info));
4004 : 0 : return eth_err(port_id, diag);
4005 : : }
4006 : :
4007 : : /* Maximum number of queues should be <= RTE_MAX_QUEUES_PER_PORT */
4008 : 118 : dev_info->max_rx_queues = RTE_MIN(dev_info->max_rx_queues,
4009 : : RTE_MAX_QUEUES_PER_PORT);
4010 : 118 : dev_info->max_tx_queues = RTE_MIN(dev_info->max_tx_queues,
4011 : : RTE_MAX_QUEUES_PER_PORT);
4012 : :
4013 : 118 : dev_info->driver_name = dev->device->driver->name;
4014 : 118 : dev_info->nb_rx_queues = dev->data->nb_rx_queues;
4015 : 118 : dev_info->nb_tx_queues = dev->data->nb_tx_queues;
4016 : :
4017 [ - + ]: 118 : dev_info->dev_flags = &dev->data->dev_flags;
4018 : :
4019 : 118 : rte_ethdev_trace_info_get(port_id, dev_info);
4020 : :
4021 : 118 : return 0;
4022 : : }
4023 : :
4024 : : int
4025 : 0 : rte_eth_dev_conf_get(uint16_t port_id, struct rte_eth_conf *dev_conf)
4026 : : {
4027 : : struct rte_eth_dev *dev;
4028 : :
4029 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4030 : : dev = &rte_eth_devices[port_id];
4031 : :
4032 [ # # ]: 0 : if (dev_conf == NULL) {
4033 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4034 : : "Cannot get ethdev port %u configuration to NULL",
4035 : : port_id);
4036 : 0 : return -EINVAL;
4037 : : }
4038 : :
4039 [ # # ]: 0 : memcpy(dev_conf, &dev->data->dev_conf, sizeof(struct rte_eth_conf));
4040 : :
4041 : 0 : rte_ethdev_trace_conf_get(port_id, dev_conf);
4042 : :
4043 : 0 : return 0;
4044 : : }
4045 : :
4046 : : int
4047 : 0 : rte_eth_dev_get_supported_ptypes(uint16_t port_id, uint32_t ptype_mask,
4048 : : uint32_t *ptypes, int num)
4049 : : {
4050 : : size_t i;
4051 : : int j;
4052 : : struct rte_eth_dev *dev;
4053 : : const uint32_t *all_ptypes;
4054 : 0 : size_t no_of_elements = 0;
4055 : :
4056 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4057 : 0 : dev = &rte_eth_devices[port_id];
4058 : :
4059 [ # # ]: 0 : if (ptypes == NULL && num > 0) {
4060 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4061 : : "Cannot get ethdev port %u supported packet types to NULL when array size is non zero",
4062 : : port_id);
4063 : 0 : return -EINVAL;
4064 : : }
4065 : :
4066 [ # # ]: 0 : if (*dev->dev_ops->dev_supported_ptypes_get == NULL)
4067 : : return 0;
4068 : 0 : all_ptypes = (*dev->dev_ops->dev_supported_ptypes_get)(dev,
4069 : : &no_of_elements);
4070 : :
4071 [ # # ]: 0 : if (!all_ptypes)
4072 : : return 0;
4073 : :
4074 [ # # ]: 0 : for (i = 0, j = 0; i < no_of_elements; ++i)
4075 [ # # ]: 0 : if (all_ptypes[i] & ptype_mask) {
4076 [ # # ]: 0 : if (j < num) {
4077 [ # # ]: 0 : ptypes[j] = all_ptypes[i];
4078 : :
4079 : 0 : rte_ethdev_trace_get_supported_ptypes(port_id,
4080 : : j, num, ptypes[j]);
4081 : : }
4082 : 0 : j++;
4083 : : }
4084 : :
4085 : : return j;
4086 : : }
4087 : :
4088 : : int
4089 : 0 : rte_eth_dev_set_ptypes(uint16_t port_id, uint32_t ptype_mask,
4090 : : uint32_t *set_ptypes, unsigned int num)
4091 : : {
4092 : 0 : const uint32_t valid_ptype_masks[] = {
4093 : : RTE_PTYPE_L2_MASK,
4094 : : RTE_PTYPE_L3_MASK,
4095 : : RTE_PTYPE_L4_MASK,
4096 : : RTE_PTYPE_TUNNEL_MASK,
4097 : : RTE_PTYPE_INNER_L2_MASK,
4098 : : RTE_PTYPE_INNER_L3_MASK,
4099 : : RTE_PTYPE_INNER_L4_MASK,
4100 : : };
4101 : : const uint32_t *all_ptypes;
4102 : : struct rte_eth_dev *dev;
4103 : : uint32_t unused_mask;
4104 : : size_t i;
4105 : : unsigned int j;
4106 : : int ret;
4107 : 0 : size_t no_of_elements = 0;
4108 : :
4109 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4110 : 0 : dev = &rte_eth_devices[port_id];
4111 : :
4112 [ # # ]: 0 : if (num > 0 && set_ptypes == NULL) {
4113 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4114 : : "Cannot get ethdev port %u set packet types to NULL when array size is non zero",
4115 : : port_id);
4116 : 0 : return -EINVAL;
4117 : : }
4118 : :
4119 [ # # ]: 0 : if (*dev->dev_ops->dev_supported_ptypes_get == NULL ||
4120 [ # # ]: 0 : *dev->dev_ops->dev_ptypes_set == NULL) {
4121 : : ret = 0;
4122 : 0 : goto ptype_unknown;
4123 : : }
4124 : :
4125 [ # # ]: 0 : if (ptype_mask == 0) {
4126 : 0 : ret = (*dev->dev_ops->dev_ptypes_set)(dev,
4127 : : ptype_mask);
4128 : 0 : goto ptype_unknown;
4129 : : }
4130 : :
4131 : : unused_mask = ptype_mask;
4132 [ # # ]: 0 : for (i = 0; i < RTE_DIM(valid_ptype_masks); i++) {
4133 : 0 : uint32_t mask = ptype_mask & valid_ptype_masks[i];
4134 [ # # # # ]: 0 : if (mask && mask != valid_ptype_masks[i]) {
4135 : : ret = -EINVAL;
4136 : 0 : goto ptype_unknown;
4137 : : }
4138 : 0 : unused_mask &= ~valid_ptype_masks[i];
4139 : : }
4140 : :
4141 [ # # ]: 0 : if (unused_mask) {
4142 : : ret = -EINVAL;
4143 : 0 : goto ptype_unknown;
4144 : : }
4145 : :
4146 : 0 : all_ptypes = (*dev->dev_ops->dev_supported_ptypes_get)(dev,
4147 : : &no_of_elements);
4148 [ # # ]: 0 : if (all_ptypes == NULL) {
4149 : : ret = 0;
4150 : 0 : goto ptype_unknown;
4151 : : }
4152 : :
4153 : : /*
4154 : : * Accommodate as many set_ptypes as possible. If the supplied
4155 : : * set_ptypes array is insufficient fill it partially.
4156 : : */
4157 [ # # ]: 0 : for (i = 0, j = 0; set_ptypes != NULL &&
4158 [ # # ]: 0 : (i < no_of_elements); ++i) {
4159 [ # # ]: 0 : if (ptype_mask & all_ptypes[i]) {
4160 [ # # ]: 0 : if (j < num - 1) {
4161 : 0 : set_ptypes[j] = all_ptypes[i];
4162 : :
4163 [ # # ]: 0 : rte_ethdev_trace_set_ptypes(port_id, j, num,
4164 : : set_ptypes[j]);
4165 : :
4166 : 0 : j++;
4167 : 0 : continue;
4168 : : }
4169 : : break;
4170 : : }
4171 : : }
4172 : :
4173 [ # # ]: 0 : if (set_ptypes != NULL && j < num)
4174 : 0 : set_ptypes[j] = RTE_PTYPE_UNKNOWN;
4175 : :
4176 : 0 : return (*dev->dev_ops->dev_ptypes_set)(dev, ptype_mask);
4177 : :
4178 : 0 : ptype_unknown:
4179 [ # # ]: 0 : if (num > 0)
4180 : 0 : set_ptypes[0] = RTE_PTYPE_UNKNOWN;
4181 : :
4182 : : return ret;
4183 : : }
4184 : :
4185 : : int
4186 : 0 : rte_eth_macaddrs_get(uint16_t port_id, struct rte_ether_addr *ma,
4187 : : unsigned int num)
4188 : : {
4189 : : int32_t ret;
4190 : : struct rte_eth_dev *dev;
4191 : : struct rte_eth_dev_info dev_info;
4192 : :
4193 [ # # ]: 0 : if (ma == NULL) {
4194 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "%s: invalid parameters", __func__);
4195 : 0 : return -EINVAL;
4196 : : }
4197 : :
4198 : : /* will check for us that port_id is a valid one */
4199 : 0 : ret = rte_eth_dev_info_get(port_id, &dev_info);
4200 [ # # ]: 0 : if (ret != 0)
4201 : : return ret;
4202 : :
4203 : : dev = &rte_eth_devices[port_id];
4204 : 0 : num = RTE_MIN(dev_info.max_mac_addrs, num);
4205 [ # # ]: 0 : memcpy(ma, dev->data->mac_addrs, num * sizeof(ma[0]));
4206 : :
4207 : 0 : rte_eth_trace_macaddrs_get(port_id, num);
4208 : :
4209 : 0 : return num;
4210 : : }
4211 : :
4212 : : int
4213 : 6 : rte_eth_macaddr_get(uint16_t port_id, struct rte_ether_addr *mac_addr)
4214 : : {
4215 : : struct rte_eth_dev *dev;
4216 : :
4217 [ - + ]: 6 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4218 : : dev = &rte_eth_devices[port_id];
4219 : :
4220 [ - + ]: 6 : if (mac_addr == NULL) {
4221 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4222 : : "Cannot get ethdev port %u MAC address to NULL",
4223 : : port_id);
4224 : 0 : return -EINVAL;
4225 : : }
4226 : :
4227 : 6 : rte_ether_addr_copy(&dev->data->mac_addrs[0], mac_addr);
4228 : :
4229 : : rte_eth_trace_macaddr_get(port_id, mac_addr);
4230 : :
4231 : 6 : return 0;
4232 : : }
4233 : :
4234 : : int
4235 : 0 : rte_eth_dev_get_mtu(uint16_t port_id, uint16_t *mtu)
4236 : : {
4237 : : struct rte_eth_dev *dev;
4238 : :
4239 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4240 : : dev = &rte_eth_devices[port_id];
4241 : :
4242 [ # # ]: 0 : if (mtu == NULL) {
4243 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot get ethdev port %u MTU to NULL",
4244 : : port_id);
4245 : 0 : return -EINVAL;
4246 : : }
4247 : :
4248 : 0 : *mtu = dev->data->mtu;
4249 : :
4250 : : rte_ethdev_trace_get_mtu(port_id, *mtu);
4251 : :
4252 : 0 : return 0;
4253 : : }
4254 : :
4255 : : int
4256 : 0 : rte_eth_dev_set_mtu(uint16_t port_id, uint16_t mtu)
4257 : : {
4258 : : int ret;
4259 : : struct rte_eth_dev_info dev_info;
4260 : : struct rte_eth_dev *dev;
4261 : :
4262 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4263 : 0 : dev = &rte_eth_devices[port_id];
4264 [ # # ]: 0 : if (*dev->dev_ops->mtu_set == NULL)
4265 : : return -ENOTSUP;
4266 : :
4267 : : /*
4268 : : * Check if the device supports dev_infos_get, if it does not
4269 : : * skip min_mtu/max_mtu validation here as this requires values
4270 : : * that are populated within the call to rte_eth_dev_info_get()
4271 : : * which relies on dev->dev_ops->dev_infos_get.
4272 : : */
4273 [ # # ]: 0 : if (*dev->dev_ops->dev_infos_get != NULL) {
4274 : 0 : ret = rte_eth_dev_info_get(port_id, &dev_info);
4275 [ # # ]: 0 : if (ret != 0)
4276 : : return ret;
4277 : :
4278 : 0 : ret = eth_dev_validate_mtu(port_id, &dev_info, mtu);
4279 [ # # ]: 0 : if (ret != 0)
4280 : : return ret;
4281 : : }
4282 : :
4283 [ # # ]: 0 : if (dev->data->dev_configured == 0) {
4284 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4285 : : "Port %u must be configured before MTU set",
4286 : : port_id);
4287 : 0 : return -EINVAL;
4288 : : }
4289 : :
4290 : 0 : ret = (*dev->dev_ops->mtu_set)(dev, mtu);
4291 [ # # ]: 0 : if (ret == 0)
4292 : 0 : dev->data->mtu = mtu;
4293 : :
4294 : 0 : ret = eth_err(port_id, ret);
4295 : :
4296 : 0 : rte_ethdev_trace_set_mtu(port_id, mtu, ret);
4297 : :
4298 : 0 : return ret;
4299 : : }
4300 : :
4301 : : int
4302 : 0 : rte_eth_dev_vlan_filter(uint16_t port_id, uint16_t vlan_id, int on)
4303 : : {
4304 : : struct rte_eth_dev *dev;
4305 : : int ret;
4306 : :
4307 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4308 : 0 : dev = &rte_eth_devices[port_id];
4309 : :
4310 [ # # ]: 0 : if (!(dev->data->dev_conf.rxmode.offloads &
4311 : : RTE_ETH_RX_OFFLOAD_VLAN_FILTER)) {
4312 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Port %u: VLAN-filtering disabled",
4313 : : port_id);
4314 : 0 : return -ENOSYS;
4315 : : }
4316 : :
4317 [ # # ]: 0 : if (vlan_id > 4095) {
4318 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Port_id=%u invalid vlan_id=%u > 4095",
4319 : : port_id, vlan_id);
4320 : 0 : return -EINVAL;
4321 : : }
4322 [ # # ]: 0 : if (*dev->dev_ops->vlan_filter_set == NULL)
4323 : : return -ENOTSUP;
4324 : :
4325 : 0 : ret = (*dev->dev_ops->vlan_filter_set)(dev, vlan_id, on);
4326 [ # # ]: 0 : if (ret == 0) {
4327 : : struct rte_vlan_filter_conf *vfc;
4328 : : int vidx;
4329 : : int vbit;
4330 : :
4331 : 0 : vfc = &dev->data->vlan_filter_conf;
4332 : 0 : vidx = vlan_id / 64;
4333 : 0 : vbit = vlan_id % 64;
4334 : :
4335 [ # # ]: 0 : if (on)
4336 : 0 : vfc->ids[vidx] |= RTE_BIT64(vbit);
4337 : : else
4338 : 0 : vfc->ids[vidx] &= ~RTE_BIT64(vbit);
4339 : : }
4340 : :
4341 : 0 : ret = eth_err(port_id, ret);
4342 : :
4343 : 0 : rte_ethdev_trace_vlan_filter(port_id, vlan_id, on, ret);
4344 : :
4345 : 0 : return ret;
4346 : : }
4347 : :
4348 : : int
4349 : 0 : rte_eth_dev_set_vlan_strip_on_queue(uint16_t port_id, uint16_t rx_queue_id,
4350 : : int on)
4351 : : {
4352 : : struct rte_eth_dev *dev;
4353 : :
4354 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4355 : 0 : dev = &rte_eth_devices[port_id];
4356 : :
4357 [ # # ]: 0 : if (rx_queue_id >= dev->data->nb_rx_queues) {
4358 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid rx_queue_id=%u", rx_queue_id);
4359 : 0 : return -EINVAL;
4360 : : }
4361 : :
4362 [ # # ]: 0 : if (*dev->dev_ops->vlan_strip_queue_set == NULL)
4363 : : return -ENOTSUP;
4364 : 0 : (*dev->dev_ops->vlan_strip_queue_set)(dev, rx_queue_id, on);
4365 : :
4366 : 0 : rte_ethdev_trace_set_vlan_strip_on_queue(port_id, rx_queue_id, on);
4367 : :
4368 : 0 : return 0;
4369 : : }
4370 : :
4371 : : int
4372 : 0 : rte_eth_dev_set_vlan_ether_type(uint16_t port_id,
4373 : : enum rte_vlan_type vlan_type,
4374 : : uint16_t tpid)
4375 : : {
4376 : : struct rte_eth_dev *dev;
4377 : : int ret;
4378 : :
4379 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4380 : 0 : dev = &rte_eth_devices[port_id];
4381 : :
4382 [ # # ]: 0 : if (*dev->dev_ops->vlan_tpid_set == NULL)
4383 : : return -ENOTSUP;
4384 : 0 : ret = eth_err(port_id, (*dev->dev_ops->vlan_tpid_set)(dev, vlan_type,
4385 : : tpid));
4386 : :
4387 : 0 : rte_ethdev_trace_set_vlan_ether_type(port_id, vlan_type, tpid, ret);
4388 : :
4389 : 0 : return ret;
4390 : : }
4391 : :
4392 : : int
4393 : 0 : rte_eth_dev_set_vlan_offload(uint16_t port_id, int offload_mask)
4394 : : {
4395 : : struct rte_eth_dev_info dev_info;
4396 : : struct rte_eth_dev *dev;
4397 : : int ret = 0;
4398 : : int mask = 0;
4399 : : int cur, org = 0;
4400 : : uint64_t orig_offloads;
4401 : : uint64_t dev_offloads;
4402 : : uint64_t new_offloads;
4403 : :
4404 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4405 : 0 : dev = &rte_eth_devices[port_id];
4406 : :
4407 : : /* save original values in case of failure */
4408 : 0 : orig_offloads = dev->data->dev_conf.rxmode.offloads;
4409 : : dev_offloads = orig_offloads;
4410 : :
4411 : : /* check which option changed by application */
4412 : 0 : cur = !!(offload_mask & RTE_ETH_VLAN_STRIP_OFFLOAD);
4413 : 0 : org = !!(dev_offloads & RTE_ETH_RX_OFFLOAD_VLAN_STRIP);
4414 [ # # ]: 0 : if (cur != org) {
4415 [ # # ]: 0 : if (cur)
4416 : 0 : dev_offloads |= RTE_ETH_RX_OFFLOAD_VLAN_STRIP;
4417 : : else
4418 : 0 : dev_offloads &= ~RTE_ETH_RX_OFFLOAD_VLAN_STRIP;
4419 : : mask |= RTE_ETH_VLAN_STRIP_MASK;
4420 : : }
4421 : :
4422 : 0 : cur = !!(offload_mask & RTE_ETH_VLAN_FILTER_OFFLOAD);
4423 : 0 : org = !!(dev_offloads & RTE_ETH_RX_OFFLOAD_VLAN_FILTER);
4424 [ # # ]: 0 : if (cur != org) {
4425 [ # # ]: 0 : if (cur)
4426 : 0 : dev_offloads |= RTE_ETH_RX_OFFLOAD_VLAN_FILTER;
4427 : : else
4428 : 0 : dev_offloads &= ~RTE_ETH_RX_OFFLOAD_VLAN_FILTER;
4429 : 0 : mask |= RTE_ETH_VLAN_FILTER_MASK;
4430 : : }
4431 : :
4432 : 0 : cur = !!(offload_mask & RTE_ETH_VLAN_EXTEND_OFFLOAD);
4433 : 0 : org = !!(dev_offloads & RTE_ETH_RX_OFFLOAD_VLAN_EXTEND);
4434 [ # # ]: 0 : if (cur != org) {
4435 [ # # ]: 0 : if (cur)
4436 : 0 : dev_offloads |= RTE_ETH_RX_OFFLOAD_VLAN_EXTEND;
4437 : : else
4438 : 0 : dev_offloads &= ~RTE_ETH_RX_OFFLOAD_VLAN_EXTEND;
4439 : 0 : mask |= RTE_ETH_VLAN_EXTEND_MASK;
4440 : : }
4441 : :
4442 : 0 : cur = !!(offload_mask & RTE_ETH_QINQ_STRIP_OFFLOAD);
4443 : 0 : org = !!(dev_offloads & RTE_ETH_RX_OFFLOAD_QINQ_STRIP);
4444 [ # # ]: 0 : if (cur != org) {
4445 [ # # ]: 0 : if (cur)
4446 : 0 : dev_offloads |= RTE_ETH_RX_OFFLOAD_QINQ_STRIP;
4447 : : else
4448 : 0 : dev_offloads &= ~RTE_ETH_RX_OFFLOAD_QINQ_STRIP;
4449 : 0 : mask |= RTE_ETH_QINQ_STRIP_MASK;
4450 : : }
4451 : :
4452 : : /*no change*/
4453 [ # # ]: 0 : if (mask == 0)
4454 : : return ret;
4455 : :
4456 : 0 : ret = rte_eth_dev_info_get(port_id, &dev_info);
4457 [ # # ]: 0 : if (ret != 0)
4458 : : return ret;
4459 : :
4460 : : /* Rx VLAN offloading must be within its device capabilities */
4461 [ # # ]: 0 : if ((dev_offloads & dev_info.rx_offload_capa) != dev_offloads) {
4462 : 0 : new_offloads = dev_offloads & ~orig_offloads;
4463 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4464 : : "Ethdev port_id=%u requested new added VLAN offloads "
4465 : : "0x%" PRIx64 " must be within Rx offloads capabilities "
4466 : : "0x%" PRIx64 " in %s()",
4467 : : port_id, new_offloads, dev_info.rx_offload_capa,
4468 : : __func__);
4469 : 0 : return -EINVAL;
4470 : : }
4471 : :
4472 [ # # ]: 0 : if (*dev->dev_ops->vlan_offload_set == NULL)
4473 : : return -ENOTSUP;
4474 : 0 : dev->data->dev_conf.rxmode.offloads = dev_offloads;
4475 : 0 : ret = (*dev->dev_ops->vlan_offload_set)(dev, mask);
4476 [ # # ]: 0 : if (ret) {
4477 : : /* hit an error restore original values */
4478 : 0 : dev->data->dev_conf.rxmode.offloads = orig_offloads;
4479 : : }
4480 : :
4481 : 0 : ret = eth_err(port_id, ret);
4482 : :
4483 : 0 : rte_ethdev_trace_set_vlan_offload(port_id, offload_mask, ret);
4484 : :
4485 : 0 : return ret;
4486 : : }
4487 : :
4488 : : int
4489 : 0 : rte_eth_dev_get_vlan_offload(uint16_t port_id)
4490 : : {
4491 : : struct rte_eth_dev *dev;
4492 : : uint64_t *dev_offloads;
4493 : : int ret = 0;
4494 : :
4495 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4496 : : dev = &rte_eth_devices[port_id];
4497 : 0 : dev_offloads = &dev->data->dev_conf.rxmode.offloads;
4498 : :
4499 [ # # ]: 0 : if (*dev_offloads & RTE_ETH_RX_OFFLOAD_VLAN_STRIP)
4500 : : ret |= RTE_ETH_VLAN_STRIP_OFFLOAD;
4501 : :
4502 [ # # ]: 0 : if (*dev_offloads & RTE_ETH_RX_OFFLOAD_VLAN_FILTER)
4503 : 0 : ret |= RTE_ETH_VLAN_FILTER_OFFLOAD;
4504 : :
4505 [ # # ]: 0 : if (*dev_offloads & RTE_ETH_RX_OFFLOAD_VLAN_EXTEND)
4506 : 0 : ret |= RTE_ETH_VLAN_EXTEND_OFFLOAD;
4507 : :
4508 [ # # ]: 0 : if (*dev_offloads & RTE_ETH_RX_OFFLOAD_QINQ_STRIP)
4509 : 0 : ret |= RTE_ETH_QINQ_STRIP_OFFLOAD;
4510 : :
4511 : 0 : rte_ethdev_trace_get_vlan_offload(port_id, ret);
4512 : :
4513 : 0 : return ret;
4514 : : }
4515 : :
4516 : : int
4517 : 0 : rte_eth_dev_set_vlan_pvid(uint16_t port_id, uint16_t pvid, int on)
4518 : : {
4519 : : struct rte_eth_dev *dev;
4520 : : int ret;
4521 : :
4522 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4523 : 0 : dev = &rte_eth_devices[port_id];
4524 : :
4525 [ # # ]: 0 : if (*dev->dev_ops->vlan_pvid_set == NULL)
4526 : : return -ENOTSUP;
4527 : 0 : ret = eth_err(port_id, (*dev->dev_ops->vlan_pvid_set)(dev, pvid, on));
4528 : :
4529 : 0 : rte_ethdev_trace_set_vlan_pvid(port_id, pvid, on, ret);
4530 : :
4531 : 0 : return ret;
4532 : : }
4533 : :
4534 : : int
4535 : 0 : rte_eth_dev_flow_ctrl_get(uint16_t port_id, struct rte_eth_fc_conf *fc_conf)
4536 : : {
4537 : : struct rte_eth_dev *dev;
4538 : : int ret;
4539 : :
4540 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4541 : 0 : dev = &rte_eth_devices[port_id];
4542 : :
4543 [ # # ]: 0 : if (fc_conf == NULL) {
4544 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4545 : : "Cannot get ethdev port %u flow control config to NULL",
4546 : : port_id);
4547 : 0 : return -EINVAL;
4548 : : }
4549 : :
4550 [ # # ]: 0 : if (*dev->dev_ops->flow_ctrl_get == NULL)
4551 : : return -ENOTSUP;
4552 : : memset(fc_conf, 0, sizeof(*fc_conf));
4553 : 0 : ret = eth_err(port_id, (*dev->dev_ops->flow_ctrl_get)(dev, fc_conf));
4554 : :
4555 : 0 : rte_ethdev_trace_flow_ctrl_get(port_id, fc_conf, ret);
4556 : :
4557 : 0 : return ret;
4558 : : }
4559 : :
4560 : : int
4561 : 0 : rte_eth_dev_flow_ctrl_set(uint16_t port_id, struct rte_eth_fc_conf *fc_conf)
4562 : : {
4563 : : struct rte_eth_dev *dev;
4564 : : int ret;
4565 : :
4566 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4567 : 0 : dev = &rte_eth_devices[port_id];
4568 : :
4569 [ # # ]: 0 : if (fc_conf == NULL) {
4570 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4571 : : "Cannot set ethdev port %u flow control from NULL config",
4572 : : port_id);
4573 : 0 : return -EINVAL;
4574 : : }
4575 : :
4576 [ # # ]: 0 : if ((fc_conf->send_xon != 0) && (fc_conf->send_xon != 1)) {
4577 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid send_xon, only 0/1 allowed");
4578 : 0 : return -EINVAL;
4579 : : }
4580 : :
4581 [ # # ]: 0 : if (*dev->dev_ops->flow_ctrl_set == NULL)
4582 : : return -ENOTSUP;
4583 : 0 : ret = eth_err(port_id, (*dev->dev_ops->flow_ctrl_set)(dev, fc_conf));
4584 : :
4585 : 0 : rte_ethdev_trace_flow_ctrl_set(port_id, fc_conf, ret);
4586 : :
4587 : 0 : return ret;
4588 : : }
4589 : :
4590 : : int
4591 : 0 : rte_eth_dev_priority_flow_ctrl_set(uint16_t port_id,
4592 : : struct rte_eth_pfc_conf *pfc_conf)
4593 : : {
4594 : : struct rte_eth_dev *dev;
4595 : : int ret;
4596 : :
4597 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4598 : 0 : dev = &rte_eth_devices[port_id];
4599 : :
4600 [ # # ]: 0 : if (pfc_conf == NULL) {
4601 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4602 : : "Cannot set ethdev port %u priority flow control from NULL config",
4603 : : port_id);
4604 : 0 : return -EINVAL;
4605 : : }
4606 : :
4607 [ # # ]: 0 : if (pfc_conf->priority > (RTE_ETH_DCB_NUM_USER_PRIORITIES - 1)) {
4608 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid priority, only 0-7 allowed");
4609 : 0 : return -EINVAL;
4610 : : }
4611 : :
4612 : : /* High water, low water validation are device specific */
4613 [ # # ]: 0 : if (*dev->dev_ops->priority_flow_ctrl_set == NULL)
4614 : : return -ENOTSUP;
4615 : 0 : ret = eth_err(port_id, (*dev->dev_ops->priority_flow_ctrl_set)
4616 : : (dev, pfc_conf));
4617 : :
4618 : 0 : rte_ethdev_trace_priority_flow_ctrl_set(port_id, pfc_conf, ret);
4619 : :
4620 : 0 : return ret;
4621 : : }
4622 : :
4623 : : static int
4624 : 0 : validate_rx_pause_config(struct rte_eth_dev_info *dev_info, uint8_t tc_max,
4625 : : struct rte_eth_pfc_queue_conf *pfc_queue_conf)
4626 : : {
4627 [ # # ]: 0 : if ((pfc_queue_conf->mode == RTE_ETH_FC_RX_PAUSE) ||
4628 : : (pfc_queue_conf->mode == RTE_ETH_FC_FULL)) {
4629 [ # # ]: 0 : if (pfc_queue_conf->rx_pause.tx_qid >= dev_info->nb_tx_queues) {
4630 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4631 : : "PFC Tx queue not in range for Rx pause requested:%d configured:%d",
4632 : : pfc_queue_conf->rx_pause.tx_qid,
4633 : : dev_info->nb_tx_queues);
4634 : 0 : return -EINVAL;
4635 : : }
4636 : :
4637 [ # # ]: 0 : if (pfc_queue_conf->rx_pause.tc >= tc_max) {
4638 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4639 : : "PFC TC not in range for Rx pause requested:%d max:%d",
4640 : : pfc_queue_conf->rx_pause.tc, tc_max);
4641 : 0 : return -EINVAL;
4642 : : }
4643 : : }
4644 : :
4645 : : return 0;
4646 : : }
4647 : :
4648 : : static int
4649 : 0 : validate_tx_pause_config(struct rte_eth_dev_info *dev_info, uint8_t tc_max,
4650 : : struct rte_eth_pfc_queue_conf *pfc_queue_conf)
4651 : : {
4652 [ # # ]: 0 : if ((pfc_queue_conf->mode == RTE_ETH_FC_TX_PAUSE) ||
4653 : : (pfc_queue_conf->mode == RTE_ETH_FC_FULL)) {
4654 [ # # ]: 0 : if (pfc_queue_conf->tx_pause.rx_qid >= dev_info->nb_rx_queues) {
4655 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4656 : : "PFC Rx queue not in range for Tx pause requested:%d configured:%d",
4657 : : pfc_queue_conf->tx_pause.rx_qid,
4658 : : dev_info->nb_rx_queues);
4659 : 0 : return -EINVAL;
4660 : : }
4661 : :
4662 [ # # ]: 0 : if (pfc_queue_conf->tx_pause.tc >= tc_max) {
4663 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4664 : : "PFC TC not in range for Tx pause requested:%d max:%d",
4665 : : pfc_queue_conf->tx_pause.tc, tc_max);
4666 : 0 : return -EINVAL;
4667 : : }
4668 : : }
4669 : :
4670 : : return 0;
4671 : : }
4672 : :
4673 : : int
4674 : 0 : rte_eth_dev_priority_flow_ctrl_queue_info_get(uint16_t port_id,
4675 : : struct rte_eth_pfc_queue_info *pfc_queue_info)
4676 : : {
4677 : : struct rte_eth_dev *dev;
4678 : : int ret;
4679 : :
4680 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4681 : 0 : dev = &rte_eth_devices[port_id];
4682 : :
4683 [ # # ]: 0 : if (pfc_queue_info == NULL) {
4684 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "PFC info param is NULL for port (%u)",
4685 : : port_id);
4686 : 0 : return -EINVAL;
4687 : : }
4688 : :
4689 [ # # ]: 0 : if (*dev->dev_ops->priority_flow_ctrl_queue_info_get == NULL)
4690 : : return -ENOTSUP;
4691 : 0 : ret = eth_err(port_id, (*dev->dev_ops->priority_flow_ctrl_queue_info_get)
4692 : : (dev, pfc_queue_info));
4693 : :
4694 : 0 : rte_ethdev_trace_priority_flow_ctrl_queue_info_get(port_id,
4695 : : pfc_queue_info, ret);
4696 : :
4697 : 0 : return ret;
4698 : : }
4699 : :
4700 : : int
4701 : 0 : rte_eth_dev_priority_flow_ctrl_queue_configure(uint16_t port_id,
4702 : : struct rte_eth_pfc_queue_conf *pfc_queue_conf)
4703 : : {
4704 : : struct rte_eth_pfc_queue_info pfc_info;
4705 : : struct rte_eth_dev_info dev_info;
4706 : : struct rte_eth_dev *dev;
4707 : : int ret;
4708 : :
4709 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4710 : 0 : dev = &rte_eth_devices[port_id];
4711 : :
4712 [ # # ]: 0 : if (pfc_queue_conf == NULL) {
4713 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "PFC parameters are NULL for port (%u)",
4714 : : port_id);
4715 : 0 : return -EINVAL;
4716 : : }
4717 : :
4718 : 0 : ret = rte_eth_dev_info_get(port_id, &dev_info);
4719 [ # # ]: 0 : if (ret != 0)
4720 : : return ret;
4721 : :
4722 : 0 : ret = rte_eth_dev_priority_flow_ctrl_queue_info_get(port_id, &pfc_info);
4723 [ # # ]: 0 : if (ret != 0)
4724 : : return ret;
4725 : :
4726 [ # # ]: 0 : if (pfc_info.tc_max == 0) {
4727 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Ethdev port %u does not support PFC TC values",
4728 : : port_id);
4729 : 0 : return -ENOTSUP;
4730 : : }
4731 : :
4732 : : /* Check requested mode supported or not */
4733 [ # # ]: 0 : if (pfc_info.mode_capa == RTE_ETH_FC_RX_PAUSE &&
4734 [ # # ]: 0 : pfc_queue_conf->mode == RTE_ETH_FC_TX_PAUSE) {
4735 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "PFC Tx pause unsupported for port (%d)",
4736 : : port_id);
4737 : 0 : return -EINVAL;
4738 : : }
4739 : :
4740 [ # # ]: 0 : if (pfc_info.mode_capa == RTE_ETH_FC_TX_PAUSE &&
4741 [ # # ]: 0 : pfc_queue_conf->mode == RTE_ETH_FC_RX_PAUSE) {
4742 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "PFC Rx pause unsupported for port (%d)",
4743 : : port_id);
4744 : 0 : return -EINVAL;
4745 : : }
4746 : :
4747 : : /* Validate Rx pause parameters */
4748 [ # # ]: 0 : if (pfc_info.mode_capa == RTE_ETH_FC_FULL ||
4749 : : pfc_info.mode_capa == RTE_ETH_FC_RX_PAUSE) {
4750 : 0 : ret = validate_rx_pause_config(&dev_info, pfc_info.tc_max,
4751 : : pfc_queue_conf);
4752 [ # # ]: 0 : if (ret != 0)
4753 : : return ret;
4754 : : }
4755 : :
4756 : : /* Validate Tx pause parameters */
4757 [ # # ]: 0 : if (pfc_info.mode_capa == RTE_ETH_FC_FULL ||
4758 : : pfc_info.mode_capa == RTE_ETH_FC_TX_PAUSE) {
4759 : 0 : ret = validate_tx_pause_config(&dev_info, pfc_info.tc_max,
4760 : : pfc_queue_conf);
4761 [ # # ]: 0 : if (ret != 0)
4762 : : return ret;
4763 : : }
4764 : :
4765 [ # # ]: 0 : if (*dev->dev_ops->priority_flow_ctrl_queue_config == NULL)
4766 : : return -ENOTSUP;
4767 : 0 : ret = eth_err(port_id, (*dev->dev_ops->priority_flow_ctrl_queue_config)
4768 : : (dev, pfc_queue_conf));
4769 : :
4770 : 0 : rte_ethdev_trace_priority_flow_ctrl_queue_configure(port_id,
4771 : : pfc_queue_conf, ret);
4772 : :
4773 : 0 : return ret;
4774 : : }
4775 : :
4776 : : static int
4777 : : eth_check_reta_mask(struct rte_eth_rss_reta_entry64 *reta_conf,
4778 : : uint16_t reta_size)
4779 : : {
4780 : : uint16_t i, num;
4781 : :
4782 : 0 : num = (reta_size + RTE_ETH_RETA_GROUP_SIZE - 1) / RTE_ETH_RETA_GROUP_SIZE;
4783 [ # # # # ]: 0 : for (i = 0; i < num; i++) {
4784 [ # # # # ]: 0 : if (reta_conf[i].mask)
4785 : : return 0;
4786 : : }
4787 : :
4788 : : return -EINVAL;
4789 : : }
4790 : :
4791 : : static int
4792 : 0 : eth_check_reta_entry(struct rte_eth_rss_reta_entry64 *reta_conf,
4793 : : uint16_t reta_size,
4794 : : uint16_t max_rxq)
4795 : : {
4796 : : uint16_t i, idx, shift;
4797 : :
4798 [ # # ]: 0 : if (max_rxq == 0) {
4799 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "No receive queue is available");
4800 : 0 : return -EINVAL;
4801 : : }
4802 : :
4803 [ # # ]: 0 : for (i = 0; i < reta_size; i++) {
4804 : 0 : idx = i / RTE_ETH_RETA_GROUP_SIZE;
4805 : 0 : shift = i % RTE_ETH_RETA_GROUP_SIZE;
4806 [ # # ]: 0 : if ((reta_conf[idx].mask & RTE_BIT64(shift)) &&
4807 [ # # ]: 0 : (reta_conf[idx].reta[shift] >= max_rxq)) {
4808 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4809 : : "reta_conf[%u]->reta[%u]: %u exceeds the maximum rxq index: %u",
4810 : : idx, shift,
4811 : : reta_conf[idx].reta[shift], max_rxq);
4812 : 0 : return -EINVAL;
4813 : : }
4814 : : }
4815 : :
4816 : : return 0;
4817 : : }
4818 : :
4819 : : int
4820 : 0 : rte_eth_dev_rss_reta_update(uint16_t port_id,
4821 : : struct rte_eth_rss_reta_entry64 *reta_conf,
4822 : : uint16_t reta_size)
4823 : : {
4824 : : enum rte_eth_rx_mq_mode mq_mode;
4825 : : struct rte_eth_dev *dev;
4826 : : int ret;
4827 : :
4828 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4829 : 0 : dev = &rte_eth_devices[port_id];
4830 : :
4831 [ # # ]: 0 : if (reta_conf == NULL) {
4832 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4833 : : "Cannot update ethdev port %u RSS RETA to NULL",
4834 : : port_id);
4835 : 0 : return -EINVAL;
4836 : : }
4837 : :
4838 [ # # ]: 0 : if (reta_size == 0) {
4839 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4840 : : "Cannot update ethdev port %u RSS RETA with zero size",
4841 : : port_id);
4842 : 0 : return -EINVAL;
4843 : : }
4844 : :
4845 : : /* Check mask bits */
4846 : 0 : ret = eth_check_reta_mask(reta_conf, reta_size);
4847 [ # # ]: 0 : if (ret < 0)
4848 : : return ret;
4849 : :
4850 : : /* Check entry value */
4851 : 0 : ret = eth_check_reta_entry(reta_conf, reta_size,
4852 : 0 : dev->data->nb_rx_queues);
4853 [ # # ]: 0 : if (ret < 0)
4854 : : return ret;
4855 : :
4856 : 0 : mq_mode = dev->data->dev_conf.rxmode.mq_mode;
4857 [ # # ]: 0 : if (!(mq_mode & RTE_ETH_MQ_RX_RSS_FLAG)) {
4858 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Multi-queue RSS mode isn't enabled.");
4859 : 0 : return -ENOTSUP;
4860 : : }
4861 : :
4862 [ # # ]: 0 : if (*dev->dev_ops->reta_update == NULL)
4863 : : return -ENOTSUP;
4864 : 0 : ret = eth_err(port_id, (*dev->dev_ops->reta_update)(dev, reta_conf,
4865 : : reta_size));
4866 : :
4867 : 0 : rte_ethdev_trace_rss_reta_update(port_id, reta_conf, reta_size, ret);
4868 : :
4869 : 0 : return ret;
4870 : : }
4871 : :
4872 : : int
4873 : 0 : rte_eth_dev_rss_reta_query(uint16_t port_id,
4874 : : struct rte_eth_rss_reta_entry64 *reta_conf,
4875 : : uint16_t reta_size)
4876 : : {
4877 : : struct rte_eth_dev *dev;
4878 : : int ret;
4879 : :
4880 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4881 : 0 : dev = &rte_eth_devices[port_id];
4882 : :
4883 [ # # ]: 0 : if (reta_conf == NULL) {
4884 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4885 : : "Cannot query ethdev port %u RSS RETA from NULL config",
4886 : : port_id);
4887 : 0 : return -EINVAL;
4888 : : }
4889 : :
4890 : : /* Check mask bits */
4891 : 0 : ret = eth_check_reta_mask(reta_conf, reta_size);
4892 [ # # ]: 0 : if (ret < 0)
4893 : : return ret;
4894 : :
4895 [ # # ]: 0 : if (*dev->dev_ops->reta_query == NULL)
4896 : : return -ENOTSUP;
4897 : 0 : ret = eth_err(port_id, (*dev->dev_ops->reta_query)(dev, reta_conf,
4898 : : reta_size));
4899 : :
4900 : 0 : rte_ethdev_trace_rss_reta_query(port_id, reta_conf, reta_size, ret);
4901 : :
4902 : 0 : return ret;
4903 : : }
4904 : :
4905 : : int
4906 : 0 : rte_eth_dev_rss_hash_update(uint16_t port_id,
4907 : : struct rte_eth_rss_conf *rss_conf)
4908 : : {
4909 : : struct rte_eth_dev *dev;
4910 : 0 : struct rte_eth_dev_info dev_info = { .flow_type_rss_offloads = 0, };
4911 : : enum rte_eth_rx_mq_mode mq_mode;
4912 : : int ret;
4913 : :
4914 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4915 : 0 : dev = &rte_eth_devices[port_id];
4916 : :
4917 [ # # ]: 0 : if (rss_conf == NULL) {
4918 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4919 : : "Cannot update ethdev port %u RSS hash from NULL config",
4920 : : port_id);
4921 : 0 : return -EINVAL;
4922 : : }
4923 : :
4924 : 0 : ret = rte_eth_dev_info_get(port_id, &dev_info);
4925 [ # # ]: 0 : if (ret != 0)
4926 : : return ret;
4927 : :
4928 [ # # ]: 0 : rss_conf->rss_hf = rte_eth_rss_hf_refine(rss_conf->rss_hf);
4929 [ # # ]: 0 : if ((dev_info.flow_type_rss_offloads | rss_conf->rss_hf) !=
4930 : : dev_info.flow_type_rss_offloads) {
4931 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4932 : : "Ethdev port_id=%u invalid rss_hf: 0x%"PRIx64", valid value: 0x%"PRIx64,
4933 : : port_id, rss_conf->rss_hf,
4934 : : dev_info.flow_type_rss_offloads);
4935 : 0 : return -EINVAL;
4936 : : }
4937 : :
4938 : 0 : mq_mode = dev->data->dev_conf.rxmode.mq_mode;
4939 [ # # ]: 0 : if (!(mq_mode & RTE_ETH_MQ_RX_RSS_FLAG)) {
4940 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Multi-queue RSS mode isn't enabled.");
4941 : 0 : return -ENOTSUP;
4942 : : }
4943 : :
4944 [ # # ]: 0 : if (rss_conf->rss_key != NULL &&
4945 [ # # ]: 0 : rss_conf->rss_key_len != dev_info.hash_key_size) {
4946 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4947 : : "Ethdev port_id=%u invalid RSS key len: %u, valid value: %u",
4948 : : port_id, rss_conf->rss_key_len, dev_info.hash_key_size);
4949 : 0 : return -EINVAL;
4950 : : }
4951 : :
4952 [ # # ]: 0 : if ((size_t)rss_conf->algorithm >= CHAR_BIT * sizeof(dev_info.rss_algo_capa) ||
4953 : 0 : (dev_info.rss_algo_capa &
4954 [ # # ]: 0 : RTE_ETH_HASH_ALGO_TO_CAPA(rss_conf->algorithm)) == 0) {
4955 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4956 : : "Ethdev port_id=%u configured RSS hash algorithm (%u)"
4957 : : "is not in the algorithm capability (0x%" PRIx32 ")",
4958 : : port_id, rss_conf->algorithm, dev_info.rss_algo_capa);
4959 : 0 : return -EINVAL;
4960 : : }
4961 : :
4962 [ # # ]: 0 : if (*dev->dev_ops->rss_hash_update == NULL)
4963 : : return -ENOTSUP;
4964 : 0 : ret = eth_err(port_id, (*dev->dev_ops->rss_hash_update)(dev,
4965 : : rss_conf));
4966 : :
4967 : 0 : rte_ethdev_trace_rss_hash_update(port_id, rss_conf, ret);
4968 : :
4969 : 0 : return ret;
4970 : : }
4971 : :
4972 : : int
4973 : 0 : rte_eth_dev_rss_hash_conf_get(uint16_t port_id,
4974 : : struct rte_eth_rss_conf *rss_conf)
4975 : : {
4976 : 0 : struct rte_eth_dev_info dev_info = { 0 };
4977 : : struct rte_eth_dev *dev;
4978 : : int ret;
4979 : :
4980 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
4981 : 0 : dev = &rte_eth_devices[port_id];
4982 : :
4983 [ # # ]: 0 : if (rss_conf == NULL) {
4984 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4985 : : "Cannot get ethdev port %u RSS hash config to NULL",
4986 : : port_id);
4987 : 0 : return -EINVAL;
4988 : : }
4989 : :
4990 : 0 : ret = rte_eth_dev_info_get(port_id, &dev_info);
4991 [ # # ]: 0 : if (ret != 0)
4992 : : return ret;
4993 : :
4994 [ # # ]: 0 : if (rss_conf->rss_key != NULL &&
4995 [ # # ]: 0 : rss_conf->rss_key_len < dev_info.hash_key_size) {
4996 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
4997 : : "Ethdev port_id=%u invalid RSS key len: %u, should not be less than: %u",
4998 : : port_id, rss_conf->rss_key_len, dev_info.hash_key_size);
4999 : 0 : return -EINVAL;
5000 : : }
5001 : :
5002 : 0 : rss_conf->algorithm = RTE_ETH_HASH_FUNCTION_DEFAULT;
5003 : :
5004 [ # # ]: 0 : if (*dev->dev_ops->rss_hash_conf_get == NULL)
5005 : : return -ENOTSUP;
5006 : 0 : ret = eth_err(port_id, (*dev->dev_ops->rss_hash_conf_get)(dev,
5007 : : rss_conf));
5008 : :
5009 : 0 : rte_ethdev_trace_rss_hash_conf_get(port_id, rss_conf, ret);
5010 : :
5011 : 0 : return ret;
5012 : : }
5013 : :
5014 : : const char *
5015 : 0 : rte_eth_dev_rss_algo_name(enum rte_eth_hash_function rss_algo)
5016 : : {
5017 : : const char *name = "Unknown function";
5018 : : unsigned int i;
5019 : :
5020 [ # # ]: 0 : for (i = 0; i < RTE_DIM(rte_eth_dev_rss_algo_names); i++) {
5021 [ # # ]: 0 : if (rss_algo == rte_eth_dev_rss_algo_names[i].algo)
5022 : 0 : return rte_eth_dev_rss_algo_names[i].name;
5023 : : }
5024 : :
5025 : : return name;
5026 : : }
5027 : :
5028 : : int
5029 : 0 : rte_eth_find_rss_algo(const char *name, uint32_t *algo)
5030 : : {
5031 : : unsigned int i;
5032 : :
5033 [ # # ]: 0 : for (i = 0; i < RTE_DIM(rte_eth_dev_rss_algo_names); i++) {
5034 [ # # ]: 0 : if (strcmp(name, rte_eth_dev_rss_algo_names[i].name) == 0) {
5035 : 0 : *algo = rte_eth_dev_rss_algo_names[i].algo;
5036 : 0 : return 0;
5037 : : }
5038 : : }
5039 : :
5040 : : return -EINVAL;
5041 : : }
5042 : :
5043 : : int
5044 : 0 : rte_eth_dev_udp_tunnel_port_add(uint16_t port_id,
5045 : : struct rte_eth_udp_tunnel *udp_tunnel)
5046 : : {
5047 : : struct rte_eth_dev *dev;
5048 : : int ret;
5049 : :
5050 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5051 : 0 : dev = &rte_eth_devices[port_id];
5052 : :
5053 [ # # ]: 0 : if (udp_tunnel == NULL) {
5054 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5055 : : "Cannot add ethdev port %u UDP tunnel port from NULL UDP tunnel",
5056 : : port_id);
5057 : 0 : return -EINVAL;
5058 : : }
5059 : :
5060 [ # # ]: 0 : if (udp_tunnel->prot_type >= RTE_ETH_TUNNEL_TYPE_MAX) {
5061 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid tunnel type");
5062 : 0 : return -EINVAL;
5063 : : }
5064 : :
5065 [ # # ]: 0 : if (*dev->dev_ops->udp_tunnel_port_add == NULL)
5066 : : return -ENOTSUP;
5067 : 0 : ret = eth_err(port_id, (*dev->dev_ops->udp_tunnel_port_add)(dev,
5068 : : udp_tunnel));
5069 : :
5070 : 0 : rte_ethdev_trace_udp_tunnel_port_add(port_id, udp_tunnel, ret);
5071 : :
5072 : 0 : return ret;
5073 : : }
5074 : :
5075 : : int
5076 : 0 : rte_eth_dev_udp_tunnel_port_delete(uint16_t port_id,
5077 : : struct rte_eth_udp_tunnel *udp_tunnel)
5078 : : {
5079 : : struct rte_eth_dev *dev;
5080 : : int ret;
5081 : :
5082 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5083 : 0 : dev = &rte_eth_devices[port_id];
5084 : :
5085 [ # # ]: 0 : if (udp_tunnel == NULL) {
5086 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5087 : : "Cannot delete ethdev port %u UDP tunnel port from NULL UDP tunnel",
5088 : : port_id);
5089 : 0 : return -EINVAL;
5090 : : }
5091 : :
5092 [ # # ]: 0 : if (udp_tunnel->prot_type >= RTE_ETH_TUNNEL_TYPE_MAX) {
5093 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid tunnel type");
5094 : 0 : return -EINVAL;
5095 : : }
5096 : :
5097 [ # # ]: 0 : if (*dev->dev_ops->udp_tunnel_port_del == NULL)
5098 : : return -ENOTSUP;
5099 : 0 : ret = eth_err(port_id, (*dev->dev_ops->udp_tunnel_port_del)(dev,
5100 : : udp_tunnel));
5101 : :
5102 : 0 : rte_ethdev_trace_udp_tunnel_port_delete(port_id, udp_tunnel, ret);
5103 : :
5104 : 0 : return ret;
5105 : : }
5106 : :
5107 : : int
5108 : 0 : rte_eth_led_on(uint16_t port_id)
5109 : : {
5110 : : struct rte_eth_dev *dev;
5111 : : int ret;
5112 : :
5113 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5114 : 0 : dev = &rte_eth_devices[port_id];
5115 : :
5116 [ # # ]: 0 : if (*dev->dev_ops->dev_led_on == NULL)
5117 : : return -ENOTSUP;
5118 : 0 : ret = eth_err(port_id, (*dev->dev_ops->dev_led_on)(dev));
5119 : :
5120 : 0 : rte_eth_trace_led_on(port_id, ret);
5121 : :
5122 : 0 : return ret;
5123 : : }
5124 : :
5125 : : int
5126 : 0 : rte_eth_led_off(uint16_t port_id)
5127 : : {
5128 : : struct rte_eth_dev *dev;
5129 : : int ret;
5130 : :
5131 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5132 : 0 : dev = &rte_eth_devices[port_id];
5133 : :
5134 [ # # ]: 0 : if (*dev->dev_ops->dev_led_off == NULL)
5135 : : return -ENOTSUP;
5136 : 0 : ret = eth_err(port_id, (*dev->dev_ops->dev_led_off)(dev));
5137 : :
5138 : 0 : rte_eth_trace_led_off(port_id, ret);
5139 : :
5140 : 0 : return ret;
5141 : : }
5142 : :
5143 : : int
5144 : 0 : rte_eth_fec_get_capability(uint16_t port_id,
5145 : : struct rte_eth_fec_capa *speed_fec_capa,
5146 : : unsigned int num)
5147 : : {
5148 : : struct rte_eth_dev *dev;
5149 : : int ret;
5150 : :
5151 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5152 : 0 : dev = &rte_eth_devices[port_id];
5153 : :
5154 [ # # ]: 0 : if (speed_fec_capa == NULL && num > 0) {
5155 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5156 : : "Cannot get ethdev port %u FEC capability to NULL when array size is non zero",
5157 : : port_id);
5158 : 0 : return -EINVAL;
5159 : : }
5160 : :
5161 [ # # ]: 0 : if (*dev->dev_ops->fec_get_capability == NULL)
5162 : : return -ENOTSUP;
5163 : 0 : ret = (*dev->dev_ops->fec_get_capability)(dev, speed_fec_capa, num);
5164 : :
5165 : 0 : rte_eth_trace_fec_get_capability(port_id, speed_fec_capa, num, ret);
5166 : :
5167 : 0 : return ret;
5168 : : }
5169 : :
5170 : : int
5171 : 0 : rte_eth_fec_get(uint16_t port_id, uint32_t *fec_capa)
5172 : : {
5173 : : struct rte_eth_dev *dev;
5174 : : int ret;
5175 : :
5176 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5177 : 0 : dev = &rte_eth_devices[port_id];
5178 : :
5179 [ # # ]: 0 : if (fec_capa == NULL) {
5180 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5181 : : "Cannot get ethdev port %u current FEC mode to NULL",
5182 : : port_id);
5183 : 0 : return -EINVAL;
5184 : : }
5185 : :
5186 [ # # ]: 0 : if (*dev->dev_ops->fec_get == NULL)
5187 : : return -ENOTSUP;
5188 : 0 : ret = eth_err(port_id, (*dev->dev_ops->fec_get)(dev, fec_capa));
5189 : :
5190 : 0 : rte_eth_trace_fec_get(port_id, fec_capa, ret);
5191 : :
5192 : 0 : return ret;
5193 : : }
5194 : :
5195 : : int
5196 : 0 : rte_eth_fec_set(uint16_t port_id, uint32_t fec_capa)
5197 : : {
5198 : : struct rte_eth_dev *dev;
5199 : : int ret;
5200 : :
5201 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5202 : 0 : dev = &rte_eth_devices[port_id];
5203 : :
5204 [ # # ]: 0 : if (fec_capa == 0) {
5205 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "At least one FEC mode should be specified");
5206 : 0 : return -EINVAL;
5207 : : }
5208 : :
5209 [ # # ]: 0 : if (*dev->dev_ops->fec_set == NULL)
5210 : : return -ENOTSUP;
5211 : 0 : ret = eth_err(port_id, (*dev->dev_ops->fec_set)(dev, fec_capa));
5212 : :
5213 : 0 : rte_eth_trace_fec_set(port_id, fec_capa, ret);
5214 : :
5215 : 0 : return ret;
5216 : : }
5217 : :
5218 : : /*
5219 : : * Returns index into MAC address array of addr. Use 00:00:00:00:00:00 to find
5220 : : * an empty spot.
5221 : : */
5222 : : static int
5223 : 0 : eth_dev_get_mac_addr_index(uint16_t port_id, const struct rte_ether_addr *addr)
5224 : : {
5225 : : struct rte_eth_dev_info dev_info;
5226 : 0 : struct rte_eth_dev *dev = &rte_eth_devices[port_id];
5227 : : unsigned i;
5228 : : int ret;
5229 : :
5230 : 0 : ret = rte_eth_dev_info_get(port_id, &dev_info);
5231 [ # # ]: 0 : if (ret != 0)
5232 : : return -1;
5233 : :
5234 [ # # ]: 0 : for (i = 0; i < dev_info.max_mac_addrs; i++)
5235 [ # # ]: 0 : if (memcmp(addr, &dev->data->mac_addrs[i],
5236 : : RTE_ETHER_ADDR_LEN) == 0)
5237 : 0 : return i;
5238 : :
5239 : : return -1;
5240 : : }
5241 : :
5242 : : static const struct rte_ether_addr null_mac_addr;
5243 : :
5244 : : int
5245 : 0 : rte_eth_dev_mac_addr_add(uint16_t port_id, struct rte_ether_addr *addr,
5246 : : uint32_t pool)
5247 : : {
5248 : : struct rte_eth_dev *dev;
5249 : : int index;
5250 : : uint64_t pool_mask;
5251 : : int ret;
5252 : :
5253 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5254 : 0 : dev = &rte_eth_devices[port_id];
5255 : :
5256 [ # # ]: 0 : if (addr == NULL) {
5257 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5258 : : "Cannot add ethdev port %u MAC address from NULL address",
5259 : : port_id);
5260 : 0 : return -EINVAL;
5261 : : }
5262 : :
5263 [ # # ]: 0 : if (*dev->dev_ops->mac_addr_add == NULL)
5264 : : return -ENOTSUP;
5265 : :
5266 [ # # ]: 0 : if (rte_is_zero_ether_addr(addr)) {
5267 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Port %u: Cannot add NULL MAC address",
5268 : : port_id);
5269 : 0 : return -EINVAL;
5270 : : }
5271 [ # # ]: 0 : if (pool >= RTE_ETH_64_POOLS) {
5272 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Pool ID must be 0-%d", RTE_ETH_64_POOLS - 1);
5273 : 0 : return -EINVAL;
5274 : : }
5275 : :
5276 : 0 : index = eth_dev_get_mac_addr_index(port_id, addr);
5277 [ # # ]: 0 : if (index < 0) {
5278 : 0 : index = eth_dev_get_mac_addr_index(port_id, &null_mac_addr);
5279 [ # # ]: 0 : if (index < 0) {
5280 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Port %u: MAC address array full",
5281 : : port_id);
5282 : 0 : return -ENOSPC;
5283 : : }
5284 : : } else {
5285 : 0 : pool_mask = dev->data->mac_pool_sel[index];
5286 : :
5287 : : /* Check if both MAC address and pool is already there, and do nothing */
5288 [ # # ]: 0 : if (pool_mask & RTE_BIT64(pool))
5289 : : return 0;
5290 : : }
5291 : :
5292 : : /* Update NIC */
5293 : 0 : ret = (*dev->dev_ops->mac_addr_add)(dev, addr, index, pool);
5294 : :
5295 [ # # ]: 0 : if (ret == 0) {
5296 : : /* Update address in NIC data structure */
5297 : 0 : rte_ether_addr_copy(addr, &dev->data->mac_addrs[index]);
5298 : :
5299 : : /* Update pool bitmap in NIC data structure */
5300 : 0 : dev->data->mac_pool_sel[index] |= RTE_BIT64(pool);
5301 : : }
5302 : :
5303 : 0 : ret = eth_err(port_id, ret);
5304 : :
5305 : 0 : rte_ethdev_trace_mac_addr_add(port_id, addr, pool, ret);
5306 : :
5307 : 0 : return ret;
5308 : : }
5309 : :
5310 : : int
5311 : 0 : rte_eth_dev_mac_addr_remove(uint16_t port_id, struct rte_ether_addr *addr)
5312 : : {
5313 : : struct rte_eth_dev *dev;
5314 : : int index;
5315 : :
5316 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5317 : 0 : dev = &rte_eth_devices[port_id];
5318 : :
5319 [ # # ]: 0 : if (addr == NULL) {
5320 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5321 : : "Cannot remove ethdev port %u MAC address from NULL address",
5322 : : port_id);
5323 : 0 : return -EINVAL;
5324 : : }
5325 : :
5326 [ # # ]: 0 : if (*dev->dev_ops->mac_addr_remove == NULL)
5327 : : return -ENOTSUP;
5328 : :
5329 : 0 : index = eth_dev_get_mac_addr_index(port_id, addr);
5330 [ # # ]: 0 : if (index == 0) {
5331 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5332 : : "Port %u: Cannot remove default MAC address",
5333 : : port_id);
5334 : 0 : return -EADDRINUSE;
5335 [ # # ]: 0 : } else if (index < 0)
5336 : : return 0; /* Do nothing if address wasn't found */
5337 : :
5338 : : /* Update NIC */
5339 : 0 : (*dev->dev_ops->mac_addr_remove)(dev, index);
5340 : :
5341 : : /* Update address in NIC data structure */
5342 [ # # ]: 0 : rte_ether_addr_copy(&null_mac_addr, &dev->data->mac_addrs[index]);
5343 : :
5344 : : /* reset pool bitmap */
5345 [ # # ]: 0 : dev->data->mac_pool_sel[index] = 0;
5346 : :
5347 : 0 : rte_ethdev_trace_mac_addr_remove(port_id, addr);
5348 : :
5349 : 0 : return 0;
5350 : : }
5351 : :
5352 : : int
5353 : 0 : rte_eth_dev_default_mac_addr_set(uint16_t port_id, struct rte_ether_addr *addr)
5354 : : {
5355 : : struct rte_eth_dev *dev;
5356 : : int index;
5357 : : int ret;
5358 : :
5359 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5360 : 0 : dev = &rte_eth_devices[port_id];
5361 : :
5362 [ # # ]: 0 : if (addr == NULL) {
5363 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5364 : : "Cannot set ethdev port %u default MAC address from NULL address",
5365 : : port_id);
5366 : 0 : return -EINVAL;
5367 : : }
5368 : :
5369 : : if (!rte_is_valid_assigned_ether_addr(addr))
5370 : : return -EINVAL;
5371 : :
5372 [ # # ]: 0 : if (*dev->dev_ops->mac_addr_set == NULL)
5373 : : return -ENOTSUP;
5374 : :
5375 : : /* Keep address unique in dev->data->mac_addrs[]. */
5376 : 0 : index = eth_dev_get_mac_addr_index(port_id, addr);
5377 [ # # ]: 0 : if (index > 0) {
5378 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5379 : : "New default address for port %u was already in the address list. Please remove it first.",
5380 : : port_id);
5381 : 0 : return -EEXIST;
5382 : : }
5383 : :
5384 : 0 : ret = (*dev->dev_ops->mac_addr_set)(dev, addr);
5385 [ # # ]: 0 : if (ret < 0)
5386 : : return ret;
5387 : :
5388 : : /* Update default address in NIC data structure */
5389 [ # # ]: 0 : rte_ether_addr_copy(addr, &dev->data->mac_addrs[0]);
5390 : :
5391 : 0 : rte_ethdev_trace_default_mac_addr_set(port_id, addr);
5392 : :
5393 : 0 : return 0;
5394 : : }
5395 : :
5396 : :
5397 : : /*
5398 : : * Returns index into MAC address array of addr. Use 00:00:00:00:00:00 to find
5399 : : * an empty spot.
5400 : : */
5401 : : static int
5402 : 0 : eth_dev_get_hash_mac_addr_index(uint16_t port_id,
5403 : : const struct rte_ether_addr *addr)
5404 : : {
5405 : : struct rte_eth_dev_info dev_info;
5406 : 0 : struct rte_eth_dev *dev = &rte_eth_devices[port_id];
5407 : : unsigned i;
5408 : : int ret;
5409 : :
5410 : 0 : ret = rte_eth_dev_info_get(port_id, &dev_info);
5411 [ # # ]: 0 : if (ret != 0)
5412 : : return -1;
5413 : :
5414 [ # # ]: 0 : if (!dev->data->hash_mac_addrs)
5415 : : return -1;
5416 : :
5417 [ # # ]: 0 : for (i = 0; i < dev_info.max_hash_mac_addrs; i++)
5418 [ # # ]: 0 : if (memcmp(addr, &dev->data->hash_mac_addrs[i],
5419 : : RTE_ETHER_ADDR_LEN) == 0)
5420 : 0 : return i;
5421 : :
5422 : : return -1;
5423 : : }
5424 : :
5425 : : int
5426 : 0 : rte_eth_dev_uc_hash_table_set(uint16_t port_id, struct rte_ether_addr *addr,
5427 : : uint8_t on)
5428 : : {
5429 : : int index;
5430 : : int ret;
5431 : : struct rte_eth_dev *dev;
5432 : :
5433 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5434 : 0 : dev = &rte_eth_devices[port_id];
5435 : :
5436 [ # # ]: 0 : if (addr == NULL) {
5437 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5438 : : "Cannot set ethdev port %u unicast hash table from NULL address",
5439 : : port_id);
5440 : 0 : return -EINVAL;
5441 : : }
5442 : :
5443 [ # # ]: 0 : if (rte_is_zero_ether_addr(addr)) {
5444 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Port %u: Cannot add NULL MAC address",
5445 : : port_id);
5446 : 0 : return -EINVAL;
5447 : : }
5448 : :
5449 : 0 : index = eth_dev_get_hash_mac_addr_index(port_id, addr);
5450 : : /* Check if it's already there, and do nothing */
5451 [ # # ]: 0 : if ((index >= 0) && on)
5452 : : return 0;
5453 : :
5454 [ # # ]: 0 : if (index < 0) {
5455 [ # # ]: 0 : if (!on) {
5456 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5457 : : "Port %u: the MAC address was not set in UTA",
5458 : : port_id);
5459 : 0 : return -EINVAL;
5460 : : }
5461 : :
5462 : 0 : index = eth_dev_get_hash_mac_addr_index(port_id, &null_mac_addr);
5463 [ # # ]: 0 : if (index < 0) {
5464 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Port %u: MAC address array full",
5465 : : port_id);
5466 : 0 : return -ENOSPC;
5467 : : }
5468 : : }
5469 : :
5470 [ # # ]: 0 : if (*dev->dev_ops->uc_hash_table_set == NULL)
5471 : : return -ENOTSUP;
5472 : 0 : ret = (*dev->dev_ops->uc_hash_table_set)(dev, addr, on);
5473 [ # # ]: 0 : if (ret == 0) {
5474 : : /* Update address in NIC data structure */
5475 [ # # ]: 0 : if (on)
5476 : 0 : rte_ether_addr_copy(addr,
5477 : 0 : &dev->data->hash_mac_addrs[index]);
5478 : : else
5479 : 0 : rte_ether_addr_copy(&null_mac_addr,
5480 : 0 : &dev->data->hash_mac_addrs[index]);
5481 : : }
5482 : :
5483 : 0 : ret = eth_err(port_id, ret);
5484 : :
5485 : 0 : rte_ethdev_trace_uc_hash_table_set(port_id, on, ret);
5486 : :
5487 : 0 : return ret;
5488 : : }
5489 : :
5490 : : int
5491 : 0 : rte_eth_dev_uc_all_hash_table_set(uint16_t port_id, uint8_t on)
5492 : : {
5493 : : struct rte_eth_dev *dev;
5494 : : int ret;
5495 : :
5496 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5497 : 0 : dev = &rte_eth_devices[port_id];
5498 : :
5499 [ # # ]: 0 : if (*dev->dev_ops->uc_all_hash_table_set == NULL)
5500 : : return -ENOTSUP;
5501 : 0 : ret = eth_err(port_id, (*dev->dev_ops->uc_all_hash_table_set)(dev, on));
5502 : :
5503 : 0 : rte_ethdev_trace_uc_all_hash_table_set(port_id, on, ret);
5504 : :
5505 : 0 : return ret;
5506 : : }
5507 : :
5508 : 0 : int rte_eth_set_queue_rate_limit(uint16_t port_id, uint16_t queue_idx,
5509 : : uint32_t tx_rate)
5510 : : {
5511 : : struct rte_eth_dev *dev;
5512 : : struct rte_eth_dev_info dev_info;
5513 : : struct rte_eth_link link;
5514 : : int ret;
5515 : :
5516 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5517 : 0 : dev = &rte_eth_devices[port_id];
5518 : :
5519 : 0 : ret = rte_eth_dev_info_get(port_id, &dev_info);
5520 [ # # ]: 0 : if (ret != 0)
5521 : : return ret;
5522 : :
5523 : 0 : link = dev->data->dev_link;
5524 : :
5525 [ # # ]: 0 : if (queue_idx > dev_info.max_tx_queues) {
5526 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5527 : : "Set queue rate limit:port %u: invalid queue ID=%u",
5528 : : port_id, queue_idx);
5529 : 0 : return -EINVAL;
5530 : : }
5531 : :
5532 [ # # ]: 0 : if (tx_rate > link.link_speed) {
5533 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5534 : : "Set queue rate limit:invalid tx_rate=%u, bigger than link speed= %d",
5535 : : tx_rate, link.link_speed);
5536 : 0 : return -EINVAL;
5537 : : }
5538 : :
5539 [ # # ]: 0 : if (*dev->dev_ops->set_queue_rate_limit == NULL)
5540 : : return -ENOTSUP;
5541 : 0 : ret = eth_err(port_id, (*dev->dev_ops->set_queue_rate_limit)(dev,
5542 : : queue_idx, tx_rate));
5543 : :
5544 [ # # ]: 0 : rte_eth_trace_set_queue_rate_limit(port_id, queue_idx, tx_rate, ret);
5545 : :
5546 : 0 : return ret;
5547 : : }
5548 : :
5549 : 0 : int rte_eth_rx_avail_thresh_set(uint16_t port_id, uint16_t queue_id,
5550 : : uint8_t avail_thresh)
5551 : : {
5552 : : struct rte_eth_dev *dev;
5553 : : int ret;
5554 : :
5555 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5556 : 0 : dev = &rte_eth_devices[port_id];
5557 : :
5558 [ # # ]: 0 : if (queue_id > dev->data->nb_rx_queues) {
5559 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5560 : : "Set queue avail thresh: port %u: invalid queue ID=%u.",
5561 : : port_id, queue_id);
5562 : 0 : return -EINVAL;
5563 : : }
5564 : :
5565 [ # # ]: 0 : if (avail_thresh > 99) {
5566 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5567 : : "Set queue avail thresh: port %u: threshold should be <= 99.",
5568 : : port_id);
5569 : 0 : return -EINVAL;
5570 : : }
5571 [ # # ]: 0 : if (*dev->dev_ops->rx_queue_avail_thresh_set == NULL)
5572 : : return -ENOTSUP;
5573 : 0 : ret = eth_err(port_id, (*dev->dev_ops->rx_queue_avail_thresh_set)(dev,
5574 : : queue_id, avail_thresh));
5575 : :
5576 : 0 : rte_eth_trace_rx_avail_thresh_set(port_id, queue_id, avail_thresh, ret);
5577 : :
5578 : 0 : return ret;
5579 : : }
5580 : :
5581 : 0 : int rte_eth_rx_avail_thresh_query(uint16_t port_id, uint16_t *queue_id,
5582 : : uint8_t *avail_thresh)
5583 : : {
5584 : : struct rte_eth_dev *dev;
5585 : : int ret;
5586 : :
5587 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5588 : 0 : dev = &rte_eth_devices[port_id];
5589 : :
5590 [ # # ]: 0 : if (queue_id == NULL)
5591 : : return -EINVAL;
5592 [ # # ]: 0 : if (*queue_id >= dev->data->nb_rx_queues)
5593 : 0 : *queue_id = 0;
5594 : :
5595 [ # # ]: 0 : if (*dev->dev_ops->rx_queue_avail_thresh_query == NULL)
5596 : : return -ENOTSUP;
5597 : 0 : ret = eth_err(port_id, (*dev->dev_ops->rx_queue_avail_thresh_query)(dev,
5598 : : queue_id, avail_thresh));
5599 : :
5600 [ # # ]: 0 : rte_eth_trace_rx_avail_thresh_query(port_id, *queue_id, ret);
5601 : :
5602 : 0 : return ret;
5603 : : }
5604 : :
5605 : 252 : RTE_INIT(eth_dev_init_fp_ops)
5606 : : {
5607 : : uint32_t i;
5608 : :
5609 [ + + ]: 8316 : for (i = 0; i != RTE_DIM(rte_eth_fp_ops); i++)
5610 : 8064 : eth_dev_fp_ops_reset(rte_eth_fp_ops + i);
5611 : 252 : }
5612 : :
5613 : 252 : RTE_INIT(eth_dev_init_cb_lists)
5614 : : {
5615 : : uint16_t i;
5616 : :
5617 [ + + ]: 8316 : for (i = 0; i < RTE_MAX_ETHPORTS; i++)
5618 : 8064 : TAILQ_INIT(&rte_eth_devices[i].link_intr_cbs);
5619 : 252 : }
5620 : :
5621 : : int
5622 : 0 : rte_eth_dev_callback_register(uint16_t port_id,
5623 : : enum rte_eth_event_type event,
5624 : : rte_eth_dev_cb_fn cb_fn, void *cb_arg)
5625 : : {
5626 : : struct rte_eth_dev *dev;
5627 : : struct rte_eth_dev_callback *user_cb;
5628 : : uint16_t next_port;
5629 : : uint16_t last_port;
5630 : :
5631 [ # # ]: 0 : if (cb_fn == NULL) {
5632 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5633 : : "Cannot register ethdev port %u callback from NULL",
5634 : : port_id);
5635 : 0 : return -EINVAL;
5636 : : }
5637 : :
5638 [ # # # # ]: 0 : if (!rte_eth_dev_is_valid_port(port_id) && port_id != RTE_ETH_ALL) {
5639 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid port_id=%d", port_id);
5640 : 0 : return -EINVAL;
5641 : : }
5642 : :
5643 [ # # ]: 0 : if (port_id == RTE_ETH_ALL) {
5644 : : next_port = 0;
5645 : : last_port = RTE_MAX_ETHPORTS - 1;
5646 : : } else {
5647 : : next_port = last_port = port_id;
5648 : : }
5649 : :
5650 : : rte_spinlock_lock(ð_dev_cb_lock);
5651 : :
5652 : : do {
5653 : 0 : dev = &rte_eth_devices[next_port];
5654 : :
5655 [ # # ]: 0 : TAILQ_FOREACH(user_cb, &(dev->link_intr_cbs), next) {
5656 [ # # ]: 0 : if (user_cb->cb_fn == cb_fn &&
5657 [ # # ]: 0 : user_cb->cb_arg == cb_arg &&
5658 [ # # ]: 0 : user_cb->event == event) {
5659 : : break;
5660 : : }
5661 : : }
5662 : :
5663 : : /* create a new callback. */
5664 [ # # ]: 0 : if (user_cb == NULL) {
5665 : 0 : user_cb = rte_zmalloc("INTR_USER_CALLBACK",
5666 : : sizeof(struct rte_eth_dev_callback), 0);
5667 [ # # ]: 0 : if (user_cb != NULL) {
5668 : 0 : user_cb->cb_fn = cb_fn;
5669 : 0 : user_cb->cb_arg = cb_arg;
5670 : 0 : user_cb->event = event;
5671 : 0 : TAILQ_INSERT_TAIL(&(dev->link_intr_cbs),
5672 : : user_cb, next);
5673 : : } else {
5674 : : rte_spinlock_unlock(ð_dev_cb_lock);
5675 : 0 : rte_eth_dev_callback_unregister(port_id, event,
5676 : : cb_fn, cb_arg);
5677 : 0 : return -ENOMEM;
5678 : : }
5679 : :
5680 : : }
5681 [ # # ]: 0 : } while (++next_port <= last_port);
5682 : :
5683 : : rte_spinlock_unlock(ð_dev_cb_lock);
5684 : :
5685 : 0 : rte_ethdev_trace_callback_register(port_id, event, cb_fn, cb_arg);
5686 : :
5687 : 0 : return 0;
5688 : : }
5689 : :
5690 : : int
5691 : 0 : rte_eth_dev_callback_unregister(uint16_t port_id,
5692 : : enum rte_eth_event_type event,
5693 : : rte_eth_dev_cb_fn cb_fn, void *cb_arg)
5694 : : {
5695 : : int ret;
5696 : : struct rte_eth_dev *dev;
5697 : : struct rte_eth_dev_callback *cb, *next;
5698 : : uint16_t next_port;
5699 : : uint16_t last_port;
5700 : :
5701 [ # # ]: 0 : if (cb_fn == NULL) {
5702 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5703 : : "Cannot unregister ethdev port %u callback from NULL",
5704 : : port_id);
5705 : 0 : return -EINVAL;
5706 : : }
5707 : :
5708 [ # # # # ]: 0 : if (!rte_eth_dev_is_valid_port(port_id) && port_id != RTE_ETH_ALL) {
5709 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid port_id=%d", port_id);
5710 : 0 : return -EINVAL;
5711 : : }
5712 : :
5713 [ # # ]: 0 : if (port_id == RTE_ETH_ALL) {
5714 : : next_port = 0;
5715 : : last_port = RTE_MAX_ETHPORTS - 1;
5716 : : } else {
5717 : : next_port = last_port = port_id;
5718 : : }
5719 : :
5720 : : rte_spinlock_lock(ð_dev_cb_lock);
5721 : :
5722 : : do {
5723 : 0 : dev = &rte_eth_devices[next_port];
5724 : : ret = 0;
5725 [ # # ]: 0 : for (cb = TAILQ_FIRST(&dev->link_intr_cbs); cb != NULL;
5726 : : cb = next) {
5727 : :
5728 : 0 : next = TAILQ_NEXT(cb, next);
5729 : :
5730 [ # # # # : 0 : if (cb->cb_fn != cb_fn || cb->event != event ||
# # ]
5731 [ # # ]: 0 : (cb_arg != (void *)-1 && cb->cb_arg != cb_arg))
5732 : 0 : continue;
5733 : :
5734 : : /*
5735 : : * if this callback is not executing right now,
5736 : : * then remove it.
5737 : : */
5738 [ # # ]: 0 : if (cb->active == 0) {
5739 [ # # ]: 0 : TAILQ_REMOVE(&(dev->link_intr_cbs), cb, next);
5740 : 0 : rte_free(cb);
5741 : : } else {
5742 : : ret = -EAGAIN;
5743 : : }
5744 : : }
5745 [ # # ]: 0 : } while (++next_port <= last_port);
5746 : :
5747 : : rte_spinlock_unlock(ð_dev_cb_lock);
5748 : :
5749 : 0 : rte_ethdev_trace_callback_unregister(port_id, event, cb_fn, cb_arg,
5750 : : ret);
5751 : :
5752 : 0 : return ret;
5753 : : }
5754 : :
5755 : : int
5756 : 0 : rte_eth_dev_rx_intr_ctl(uint16_t port_id, int epfd, int op, void *data)
5757 : : {
5758 : : uint32_t vec;
5759 : : struct rte_eth_dev *dev;
5760 : : struct rte_intr_handle *intr_handle;
5761 : : uint16_t qid;
5762 : : int rc;
5763 : :
5764 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5765 : : dev = &rte_eth_devices[port_id];
5766 : :
5767 [ # # ]: 0 : if (!dev->intr_handle) {
5768 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Rx Intr handle unset");
5769 : 0 : return -ENOTSUP;
5770 : : }
5771 : :
5772 : : intr_handle = dev->intr_handle;
5773 [ # # ]: 0 : if (rte_intr_vec_list_index_get(intr_handle, 0) < 0) {
5774 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Rx Intr vector unset");
5775 : 0 : return -EPERM;
5776 : : }
5777 : :
5778 [ # # ]: 0 : for (qid = 0; qid < dev->data->nb_rx_queues; qid++) {
5779 : 0 : vec = rte_intr_vec_list_index_get(intr_handle, qid);
5780 : 0 : rc = rte_intr_rx_ctl(intr_handle, epfd, op, vec, data);
5781 : :
5782 : 0 : rte_ethdev_trace_rx_intr_ctl(port_id, qid, epfd, op, data, rc);
5783 : :
5784 [ # # ]: 0 : if (rc && rc != -EEXIST) {
5785 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5786 : : "p %u q %u Rx ctl error op %d epfd %d vec %u",
5787 : : port_id, qid, op, epfd, vec);
5788 : : }
5789 : : }
5790 : :
5791 : : return 0;
5792 : : }
5793 : :
5794 : : int
5795 : 0 : rte_eth_dev_rx_intr_ctl_q_get_fd(uint16_t port_id, uint16_t queue_id)
5796 : : {
5797 : : struct rte_intr_handle *intr_handle;
5798 : : struct rte_eth_dev *dev;
5799 : : unsigned int efd_idx;
5800 : : uint32_t vec;
5801 : : int fd;
5802 : :
5803 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -1);
5804 : : dev = &rte_eth_devices[port_id];
5805 : :
5806 [ # # ]: 0 : if (queue_id >= dev->data->nb_rx_queues) {
5807 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid Rx queue_id=%u", queue_id);
5808 : 0 : return -1;
5809 : : }
5810 : :
5811 [ # # ]: 0 : if (!dev->intr_handle) {
5812 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Rx Intr handle unset");
5813 : 0 : return -1;
5814 : : }
5815 : :
5816 : : intr_handle = dev->intr_handle;
5817 [ # # ]: 0 : if (rte_intr_vec_list_index_get(intr_handle, 0) < 0) {
5818 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Rx Intr vector unset");
5819 : 0 : return -1;
5820 : : }
5821 : :
5822 : 0 : vec = rte_intr_vec_list_index_get(intr_handle, queue_id);
5823 : : efd_idx = (vec >= RTE_INTR_VEC_RXTX_OFFSET) ?
5824 [ # # ]: 0 : (vec - RTE_INTR_VEC_RXTX_OFFSET) : vec;
5825 : 0 : fd = rte_intr_efds_index_get(intr_handle, efd_idx);
5826 : :
5827 : 0 : rte_ethdev_trace_rx_intr_ctl_q_get_fd(port_id, queue_id, fd);
5828 : :
5829 : 0 : return fd;
5830 : : }
5831 : :
5832 : : int
5833 : 0 : rte_eth_dev_rx_intr_ctl_q(uint16_t port_id, uint16_t queue_id,
5834 : : int epfd, int op, void *data)
5835 : : {
5836 : : uint32_t vec;
5837 : : struct rte_eth_dev *dev;
5838 : : struct rte_intr_handle *intr_handle;
5839 : : int rc;
5840 : :
5841 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5842 : : dev = &rte_eth_devices[port_id];
5843 : :
5844 [ # # ]: 0 : if (queue_id >= dev->data->nb_rx_queues) {
5845 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid Rx queue_id=%u", queue_id);
5846 : 0 : return -EINVAL;
5847 : : }
5848 : :
5849 [ # # ]: 0 : if (!dev->intr_handle) {
5850 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Rx Intr handle unset");
5851 : 0 : return -ENOTSUP;
5852 : : }
5853 : :
5854 : : intr_handle = dev->intr_handle;
5855 [ # # ]: 0 : if (rte_intr_vec_list_index_get(intr_handle, 0) < 0) {
5856 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Rx Intr vector unset");
5857 : 0 : return -EPERM;
5858 : : }
5859 : :
5860 : 0 : vec = rte_intr_vec_list_index_get(intr_handle, queue_id);
5861 : 0 : rc = rte_intr_rx_ctl(intr_handle, epfd, op, vec, data);
5862 : :
5863 : 0 : rte_ethdev_trace_rx_intr_ctl_q(port_id, queue_id, epfd, op, data, rc);
5864 : :
5865 [ # # ]: 0 : if (rc && rc != -EEXIST) {
5866 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
5867 : : "p %u q %u Rx ctl error op %d epfd %d vec %u",
5868 : : port_id, queue_id, op, epfd, vec);
5869 : 0 : return rc;
5870 : : }
5871 : :
5872 : : return 0;
5873 : : }
5874 : :
5875 : : int
5876 : 0 : rte_eth_dev_rx_intr_enable(uint16_t port_id,
5877 : : uint16_t queue_id)
5878 : : {
5879 : : struct rte_eth_dev *dev;
5880 : : int ret;
5881 : :
5882 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5883 : 0 : dev = &rte_eth_devices[port_id];
5884 : :
5885 : 0 : ret = eth_dev_validate_rx_queue(dev, queue_id);
5886 [ # # ]: 0 : if (ret != 0)
5887 : : return ret;
5888 : :
5889 [ # # ]: 0 : if (*dev->dev_ops->rx_queue_intr_enable == NULL)
5890 : : return -ENOTSUP;
5891 : 0 : ret = eth_err(port_id, (*dev->dev_ops->rx_queue_intr_enable)(dev, queue_id));
5892 : :
5893 : : rte_ethdev_trace_rx_intr_enable(port_id, queue_id, ret);
5894 : :
5895 : 0 : return ret;
5896 : : }
5897 : :
5898 : : int
5899 : 0 : rte_eth_dev_rx_intr_disable(uint16_t port_id,
5900 : : uint16_t queue_id)
5901 : : {
5902 : : struct rte_eth_dev *dev;
5903 : : int ret;
5904 : :
5905 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
5906 : 0 : dev = &rte_eth_devices[port_id];
5907 : :
5908 : 0 : ret = eth_dev_validate_rx_queue(dev, queue_id);
5909 [ # # ]: 0 : if (ret != 0)
5910 : : return ret;
5911 : :
5912 [ # # ]: 0 : if (*dev->dev_ops->rx_queue_intr_disable == NULL)
5913 : : return -ENOTSUP;
5914 : 0 : ret = eth_err(port_id, (*dev->dev_ops->rx_queue_intr_disable)(dev, queue_id));
5915 : :
5916 : : rte_ethdev_trace_rx_intr_disable(port_id, queue_id, ret);
5917 : :
5918 : 0 : return ret;
5919 : : }
5920 : :
5921 : :
5922 : : const struct rte_eth_rxtx_callback *
5923 : 0 : rte_eth_add_rx_callback(uint16_t port_id, uint16_t queue_id,
5924 : : rte_rx_callback_fn fn, void *user_param)
5925 : : {
5926 : : #ifndef RTE_ETHDEV_RXTX_CALLBACKS
5927 : : rte_errno = ENOTSUP;
5928 : : return NULL;
5929 : : #endif
5930 : : struct rte_eth_dev *dev;
5931 : :
5932 : : /* check input parameters */
5933 [ # # # # ]: 0 : if (!rte_eth_dev_is_valid_port(port_id) || fn == NULL ||
5934 [ # # ]: 0 : queue_id >= rte_eth_devices[port_id].data->nb_rx_queues) {
5935 : 0 : rte_errno = EINVAL;
5936 : 0 : return NULL;
5937 : : }
5938 : 0 : dev = &rte_eth_devices[port_id];
5939 [ # # ]: 0 : if (rte_eth_dev_is_rx_hairpin_queue(dev, queue_id)) {
5940 : 0 : rte_errno = EINVAL;
5941 : 0 : return NULL;
5942 : : }
5943 : 0 : struct rte_eth_rxtx_callback *cb = rte_zmalloc(NULL, sizeof(*cb), 0);
5944 : :
5945 [ # # ]: 0 : if (cb == NULL) {
5946 : 0 : rte_errno = ENOMEM;
5947 : 0 : return NULL;
5948 : : }
5949 : :
5950 : 0 : cb->fn.rx = fn;
5951 : 0 : cb->param = user_param;
5952 : :
5953 : : rte_spinlock_lock(ð_dev_rx_cb_lock);
5954 : : /* Add the callbacks in fifo order. */
5955 : 0 : struct rte_eth_rxtx_callback *tail =
5956 : : rte_eth_devices[port_id].post_rx_burst_cbs[queue_id];
5957 : :
5958 [ # # ]: 0 : if (!tail) {
5959 : : /* Stores to cb->fn and cb->param should complete before
5960 : : * cb is visible to data plane.
5961 : : */
5962 : 0 : rte_atomic_store_explicit(
5963 : : &rte_eth_devices[port_id].post_rx_burst_cbs[queue_id],
5964 : : cb, rte_memory_order_release);
5965 : :
5966 : : } else {
5967 [ # # ]: 0 : while (tail->next)
5968 : : tail = tail->next;
5969 : : /* Stores to cb->fn and cb->param should complete before
5970 : : * cb is visible to data plane.
5971 : : */
5972 : 0 : rte_atomic_store_explicit(&tail->next, cb, rte_memory_order_release);
5973 : : }
5974 : : rte_spinlock_unlock(ð_dev_rx_cb_lock);
5975 : :
5976 : 0 : rte_eth_trace_add_rx_callback(port_id, queue_id, fn, user_param, cb);
5977 : :
5978 : 0 : return cb;
5979 : : }
5980 : :
5981 : : const struct rte_eth_rxtx_callback *
5982 : 1 : rte_eth_add_first_rx_callback(uint16_t port_id, uint16_t queue_id,
5983 : : rte_rx_callback_fn fn, void *user_param)
5984 : : {
5985 : : #ifndef RTE_ETHDEV_RXTX_CALLBACKS
5986 : : rte_errno = ENOTSUP;
5987 : : return NULL;
5988 : : #endif
5989 : : /* check input parameters */
5990 [ + - + - ]: 1 : if (!rte_eth_dev_is_valid_port(port_id) || fn == NULL ||
5991 [ - + ]: 1 : queue_id >= rte_eth_devices[port_id].data->nb_rx_queues) {
5992 : 0 : rte_errno = EINVAL;
5993 : 0 : return NULL;
5994 : : }
5995 : :
5996 : 1 : struct rte_eth_rxtx_callback *cb = rte_zmalloc(NULL, sizeof(*cb), 0);
5997 : :
5998 [ - + ]: 1 : if (cb == NULL) {
5999 : 0 : rte_errno = ENOMEM;
6000 : 0 : return NULL;
6001 : : }
6002 : :
6003 : 1 : cb->fn.rx = fn;
6004 : 1 : cb->param = user_param;
6005 : :
6006 : : rte_spinlock_lock(ð_dev_rx_cb_lock);
6007 : : /* Add the callbacks at first position */
6008 : 1 : cb->next = rte_eth_devices[port_id].post_rx_burst_cbs[queue_id];
6009 : : /* Stores to cb->fn, cb->param and cb->next should complete before
6010 : : * cb is visible to data plane threads.
6011 : : */
6012 : 1 : rte_atomic_store_explicit(
6013 : : &rte_eth_devices[port_id].post_rx_burst_cbs[queue_id],
6014 : : cb, rte_memory_order_release);
6015 : : rte_spinlock_unlock(ð_dev_rx_cb_lock);
6016 : :
6017 : 1 : rte_eth_trace_add_first_rx_callback(port_id, queue_id, fn, user_param,
6018 : : cb);
6019 : :
6020 : 1 : return cb;
6021 : : }
6022 : :
6023 : : const struct rte_eth_rxtx_callback *
6024 : 1 : rte_eth_add_tx_callback(uint16_t port_id, uint16_t queue_id,
6025 : : rte_tx_callback_fn fn, void *user_param)
6026 : : {
6027 : : #ifndef RTE_ETHDEV_RXTX_CALLBACKS
6028 : : rte_errno = ENOTSUP;
6029 : : return NULL;
6030 : : #endif
6031 : : struct rte_eth_dev *dev;
6032 : :
6033 : : /* check input parameters */
6034 [ + - + - ]: 1 : if (!rte_eth_dev_is_valid_port(port_id) || fn == NULL ||
6035 [ - + ]: 1 : queue_id >= rte_eth_devices[port_id].data->nb_tx_queues) {
6036 : 0 : rte_errno = EINVAL;
6037 : 0 : return NULL;
6038 : : }
6039 : :
6040 : 1 : dev = &rte_eth_devices[port_id];
6041 [ - + ]: 1 : if (rte_eth_dev_is_tx_hairpin_queue(dev, queue_id)) {
6042 : 0 : rte_errno = EINVAL;
6043 : 0 : return NULL;
6044 : : }
6045 : :
6046 : 1 : struct rte_eth_rxtx_callback *cb = rte_zmalloc(NULL, sizeof(*cb), 0);
6047 : :
6048 [ - + ]: 1 : if (cb == NULL) {
6049 : 0 : rte_errno = ENOMEM;
6050 : 0 : return NULL;
6051 : : }
6052 : :
6053 : 1 : cb->fn.tx = fn;
6054 : 1 : cb->param = user_param;
6055 : :
6056 : : rte_spinlock_lock(ð_dev_tx_cb_lock);
6057 : : /* Add the callbacks in fifo order. */
6058 : 1 : struct rte_eth_rxtx_callback *tail =
6059 : : rte_eth_devices[port_id].pre_tx_burst_cbs[queue_id];
6060 : :
6061 [ + - ]: 1 : if (!tail) {
6062 : : /* Stores to cb->fn and cb->param should complete before
6063 : : * cb is visible to data plane.
6064 : : */
6065 : 1 : rte_atomic_store_explicit(
6066 : : &rte_eth_devices[port_id].pre_tx_burst_cbs[queue_id],
6067 : : cb, rte_memory_order_release);
6068 : :
6069 : : } else {
6070 [ # # ]: 0 : while (tail->next)
6071 : : tail = tail->next;
6072 : : /* Stores to cb->fn and cb->param should complete before
6073 : : * cb is visible to data plane.
6074 : : */
6075 : 0 : rte_atomic_store_explicit(&tail->next, cb, rte_memory_order_release);
6076 : : }
6077 : : rte_spinlock_unlock(ð_dev_tx_cb_lock);
6078 : :
6079 : 1 : rte_eth_trace_add_tx_callback(port_id, queue_id, fn, user_param, cb);
6080 : :
6081 : 1 : return cb;
6082 : : }
6083 : :
6084 : : int
6085 : 1 : rte_eth_remove_rx_callback(uint16_t port_id, uint16_t queue_id,
6086 : : const struct rte_eth_rxtx_callback *user_cb)
6087 : : {
6088 : : #ifndef RTE_ETHDEV_RXTX_CALLBACKS
6089 : : return -ENOTSUP;
6090 : : #endif
6091 : : /* Check input parameters. */
6092 [ - + ]: 1 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6093 [ + - ]: 1 : if (user_cb == NULL ||
6094 [ + - ]: 1 : queue_id >= rte_eth_devices[port_id].data->nb_rx_queues)
6095 : : return -EINVAL;
6096 : :
6097 : : struct rte_eth_dev *dev = &rte_eth_devices[port_id];
6098 : : struct rte_eth_rxtx_callback *cb;
6099 : : RTE_ATOMIC(struct rte_eth_rxtx_callback *) *prev_cb;
6100 : : int ret = -EINVAL;
6101 : :
6102 : : rte_spinlock_lock(ð_dev_rx_cb_lock);
6103 : 1 : prev_cb = &dev->post_rx_burst_cbs[queue_id];
6104 [ + - ]: 1 : for (; *prev_cb != NULL; prev_cb = &cb->next) {
6105 : : cb = *prev_cb;
6106 [ + - ]: 1 : if (cb == user_cb) {
6107 : : /* Remove the user cb from the callback list. */
6108 : 1 : rte_atomic_store_explicit(prev_cb, cb->next, rte_memory_order_relaxed);
6109 : : ret = 0;
6110 : 1 : break;
6111 : : }
6112 : : }
6113 : : rte_spinlock_unlock(ð_dev_rx_cb_lock);
6114 : :
6115 : 1 : rte_eth_trace_remove_rx_callback(port_id, queue_id, user_cb, ret);
6116 : :
6117 : 1 : return ret;
6118 : : }
6119 : :
6120 : : int
6121 : 1 : rte_eth_remove_tx_callback(uint16_t port_id, uint16_t queue_id,
6122 : : const struct rte_eth_rxtx_callback *user_cb)
6123 : : {
6124 : : #ifndef RTE_ETHDEV_RXTX_CALLBACKS
6125 : : return -ENOTSUP;
6126 : : #endif
6127 : : /* Check input parameters. */
6128 [ - + ]: 1 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6129 [ + - ]: 1 : if (user_cb == NULL ||
6130 [ + - ]: 1 : queue_id >= rte_eth_devices[port_id].data->nb_tx_queues)
6131 : : return -EINVAL;
6132 : :
6133 : : struct rte_eth_dev *dev = &rte_eth_devices[port_id];
6134 : : int ret = -EINVAL;
6135 : : struct rte_eth_rxtx_callback *cb;
6136 : : RTE_ATOMIC(struct rte_eth_rxtx_callback *) *prev_cb;
6137 : :
6138 : : rte_spinlock_lock(ð_dev_tx_cb_lock);
6139 : 1 : prev_cb = &dev->pre_tx_burst_cbs[queue_id];
6140 [ + - ]: 1 : for (; *prev_cb != NULL; prev_cb = &cb->next) {
6141 : : cb = *prev_cb;
6142 [ + - ]: 1 : if (cb == user_cb) {
6143 : : /* Remove the user cb from the callback list. */
6144 : 1 : rte_atomic_store_explicit(prev_cb, cb->next, rte_memory_order_relaxed);
6145 : : ret = 0;
6146 : 1 : break;
6147 : : }
6148 : : }
6149 : : rte_spinlock_unlock(ð_dev_tx_cb_lock);
6150 : :
6151 : 1 : rte_eth_trace_remove_tx_callback(port_id, queue_id, user_cb, ret);
6152 : :
6153 : 1 : return ret;
6154 : : }
6155 : :
6156 : : int
6157 : 0 : rte_eth_rx_queue_info_get(uint16_t port_id, uint16_t queue_id,
6158 : : struct rte_eth_rxq_info *qinfo)
6159 : : {
6160 : : struct rte_eth_dev *dev;
6161 : :
6162 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6163 : 0 : dev = &rte_eth_devices[port_id];
6164 : :
6165 [ # # ]: 0 : if (queue_id >= dev->data->nb_rx_queues) {
6166 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid Rx queue_id=%u", queue_id);
6167 : 0 : return -EINVAL;
6168 : : }
6169 : :
6170 [ # # ]: 0 : if (qinfo == NULL) {
6171 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot get ethdev port %u Rx queue %u info to NULL",
6172 : : port_id, queue_id);
6173 : 0 : return -EINVAL;
6174 : : }
6175 : :
6176 [ # # ]: 0 : if (dev->data->rx_queues == NULL ||
6177 [ # # ]: 0 : dev->data->rx_queues[queue_id] == NULL) {
6178 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6179 : : "Rx queue %"PRIu16" of device with port_id=%"
6180 : : PRIu16" has not been setup",
6181 : : queue_id, port_id);
6182 : 0 : return -EINVAL;
6183 : : }
6184 : :
6185 [ # # ]: 0 : if (rte_eth_dev_is_rx_hairpin_queue(dev, queue_id)) {
6186 : 0 : RTE_ETHDEV_LOG_LINE(INFO,
6187 : : "Can't get hairpin Rx queue %"PRIu16" info of device with port_id=%"PRIu16,
6188 : : queue_id, port_id);
6189 : 0 : return -EINVAL;
6190 : : }
6191 : :
6192 [ # # ]: 0 : if (*dev->dev_ops->rxq_info_get == NULL)
6193 : : return -ENOTSUP;
6194 : :
6195 : : memset(qinfo, 0, sizeof(*qinfo));
6196 : 0 : dev->dev_ops->rxq_info_get(dev, queue_id, qinfo);
6197 [ # # ]: 0 : qinfo->queue_state = dev->data->rx_queue_state[queue_id];
6198 : :
6199 : 0 : rte_eth_trace_rx_queue_info_get(port_id, queue_id, qinfo);
6200 : :
6201 : 0 : return 0;
6202 : : }
6203 : :
6204 : : int
6205 : 0 : rte_eth_tx_queue_info_get(uint16_t port_id, uint16_t queue_id,
6206 : : struct rte_eth_txq_info *qinfo)
6207 : : {
6208 : : struct rte_eth_dev *dev;
6209 : :
6210 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6211 : 0 : dev = &rte_eth_devices[port_id];
6212 : :
6213 [ # # ]: 0 : if (queue_id >= dev->data->nb_tx_queues) {
6214 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid Tx queue_id=%u", queue_id);
6215 : 0 : return -EINVAL;
6216 : : }
6217 : :
6218 [ # # ]: 0 : if (qinfo == NULL) {
6219 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot get ethdev port %u Tx queue %u info to NULL",
6220 : : port_id, queue_id);
6221 : 0 : return -EINVAL;
6222 : : }
6223 : :
6224 [ # # ]: 0 : if (dev->data->tx_queues == NULL ||
6225 [ # # ]: 0 : dev->data->tx_queues[queue_id] == NULL) {
6226 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6227 : : "Tx queue %"PRIu16" of device with port_id=%"
6228 : : PRIu16" has not been setup",
6229 : : queue_id, port_id);
6230 : 0 : return -EINVAL;
6231 : : }
6232 : :
6233 [ # # ]: 0 : if (rte_eth_dev_is_tx_hairpin_queue(dev, queue_id)) {
6234 : 0 : RTE_ETHDEV_LOG_LINE(INFO,
6235 : : "Can't get hairpin Tx queue %"PRIu16" info of device with port_id=%"PRIu16,
6236 : : queue_id, port_id);
6237 : 0 : return -EINVAL;
6238 : : }
6239 : :
6240 [ # # ]: 0 : if (*dev->dev_ops->txq_info_get == NULL)
6241 : : return -ENOTSUP;
6242 : :
6243 : : memset(qinfo, 0, sizeof(*qinfo));
6244 : 0 : dev->dev_ops->txq_info_get(dev, queue_id, qinfo);
6245 [ # # ]: 0 : qinfo->queue_state = dev->data->tx_queue_state[queue_id];
6246 : :
6247 : 0 : rte_eth_trace_tx_queue_info_get(port_id, queue_id, qinfo);
6248 : :
6249 : 0 : return 0;
6250 : : }
6251 : :
6252 : : int
6253 : 0 : rte_eth_recycle_rx_queue_info_get(uint16_t port_id, uint16_t queue_id,
6254 : : struct rte_eth_recycle_rxq_info *recycle_rxq_info)
6255 : : {
6256 : : struct rte_eth_dev *dev;
6257 : : int ret;
6258 : :
6259 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6260 : 0 : dev = &rte_eth_devices[port_id];
6261 : :
6262 : 0 : ret = eth_dev_validate_rx_queue(dev, queue_id);
6263 [ # # ]: 0 : if (unlikely(ret != 0))
6264 : : return ret;
6265 : :
6266 [ # # ]: 0 : if (*dev->dev_ops->recycle_rxq_info_get == NULL)
6267 : : return -ENOTSUP;
6268 : :
6269 : 0 : dev->dev_ops->recycle_rxq_info_get(dev, queue_id, recycle_rxq_info);
6270 : :
6271 : 0 : return 0;
6272 : : }
6273 : :
6274 : : int
6275 : 0 : rte_eth_rx_burst_mode_get(uint16_t port_id, uint16_t queue_id,
6276 : : struct rte_eth_burst_mode *mode)
6277 : : {
6278 : : struct rte_eth_dev *dev;
6279 : : int ret;
6280 : :
6281 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6282 : 0 : dev = &rte_eth_devices[port_id];
6283 : :
6284 [ # # ]: 0 : if (queue_id >= dev->data->nb_rx_queues) {
6285 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid Rx queue_id=%u", queue_id);
6286 : 0 : return -EINVAL;
6287 : : }
6288 : :
6289 [ # # ]: 0 : if (mode == NULL) {
6290 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6291 : : "Cannot get ethdev port %u Rx queue %u burst mode to NULL",
6292 : : port_id, queue_id);
6293 : 0 : return -EINVAL;
6294 : : }
6295 : :
6296 [ # # ]: 0 : if (*dev->dev_ops->rx_burst_mode_get == NULL)
6297 : : return -ENOTSUP;
6298 : : memset(mode, 0, sizeof(*mode));
6299 : 0 : ret = eth_err(port_id,
6300 : 0 : dev->dev_ops->rx_burst_mode_get(dev, queue_id, mode));
6301 : :
6302 : 0 : rte_eth_trace_rx_burst_mode_get(port_id, queue_id, mode, ret);
6303 : :
6304 : 0 : return ret;
6305 : : }
6306 : :
6307 : : int
6308 : 0 : rte_eth_tx_burst_mode_get(uint16_t port_id, uint16_t queue_id,
6309 : : struct rte_eth_burst_mode *mode)
6310 : : {
6311 : : struct rte_eth_dev *dev;
6312 : : int ret;
6313 : :
6314 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6315 : 0 : dev = &rte_eth_devices[port_id];
6316 : :
6317 [ # # ]: 0 : if (queue_id >= dev->data->nb_tx_queues) {
6318 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid Tx queue_id=%u", queue_id);
6319 : 0 : return -EINVAL;
6320 : : }
6321 : :
6322 [ # # ]: 0 : if (mode == NULL) {
6323 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6324 : : "Cannot get ethdev port %u Tx queue %u burst mode to NULL",
6325 : : port_id, queue_id);
6326 : 0 : return -EINVAL;
6327 : : }
6328 : :
6329 [ # # ]: 0 : if (*dev->dev_ops->tx_burst_mode_get == NULL)
6330 : : return -ENOTSUP;
6331 : : memset(mode, 0, sizeof(*mode));
6332 : 0 : ret = eth_err(port_id,
6333 : 0 : dev->dev_ops->tx_burst_mode_get(dev, queue_id, mode));
6334 : :
6335 : 0 : rte_eth_trace_tx_burst_mode_get(port_id, queue_id, mode, ret);
6336 : :
6337 : 0 : return ret;
6338 : : }
6339 : :
6340 : : int
6341 : 0 : rte_eth_get_monitor_addr(uint16_t port_id, uint16_t queue_id,
6342 : : struct rte_power_monitor_cond *pmc)
6343 : : {
6344 : : struct rte_eth_dev *dev;
6345 : : int ret;
6346 : :
6347 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6348 : : dev = &rte_eth_devices[port_id];
6349 : :
6350 [ # # ]: 0 : if (queue_id >= dev->data->nb_rx_queues) {
6351 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid Rx queue_id=%u", queue_id);
6352 : 0 : return -EINVAL;
6353 : : }
6354 : :
6355 [ # # ]: 0 : if (pmc == NULL) {
6356 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6357 : : "Cannot get ethdev port %u Rx queue %u power monitor condition to NULL",
6358 : : port_id, queue_id);
6359 : 0 : return -EINVAL;
6360 : : }
6361 : :
6362 [ # # ]: 0 : if (*dev->dev_ops->get_monitor_addr == NULL)
6363 : : return -ENOTSUP;
6364 : 0 : ret = eth_err(port_id,
6365 : 0 : dev->dev_ops->get_monitor_addr(dev->data->rx_queues[queue_id], pmc));
6366 : :
6367 : 0 : rte_eth_trace_get_monitor_addr(port_id, queue_id, pmc, ret);
6368 : :
6369 : 0 : return ret;
6370 : : }
6371 : :
6372 : : int
6373 : 0 : rte_eth_dev_set_mc_addr_list(uint16_t port_id,
6374 : : struct rte_ether_addr *mc_addr_set,
6375 : : uint32_t nb_mc_addr)
6376 : : {
6377 : : struct rte_eth_dev *dev;
6378 : : int ret;
6379 : :
6380 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6381 : 0 : dev = &rte_eth_devices[port_id];
6382 : :
6383 [ # # ]: 0 : if (*dev->dev_ops->set_mc_addr_list == NULL)
6384 : : return -ENOTSUP;
6385 : 0 : ret = eth_err(port_id, dev->dev_ops->set_mc_addr_list(dev,
6386 : : mc_addr_set, nb_mc_addr));
6387 : :
6388 : 0 : rte_ethdev_trace_set_mc_addr_list(port_id, mc_addr_set, nb_mc_addr,
6389 : : ret);
6390 : :
6391 : 0 : return ret;
6392 : : }
6393 : :
6394 : : int
6395 : 0 : rte_eth_timesync_enable(uint16_t port_id)
6396 : : {
6397 : : struct rte_eth_dev *dev;
6398 : : int ret;
6399 : :
6400 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6401 : 0 : dev = &rte_eth_devices[port_id];
6402 : :
6403 [ # # ]: 0 : if (*dev->dev_ops->timesync_enable == NULL)
6404 : : return -ENOTSUP;
6405 : 0 : ret = eth_err(port_id, (*dev->dev_ops->timesync_enable)(dev));
6406 : :
6407 : 0 : rte_eth_trace_timesync_enable(port_id, ret);
6408 : :
6409 : 0 : return ret;
6410 : : }
6411 : :
6412 : : int
6413 : 0 : rte_eth_timesync_disable(uint16_t port_id)
6414 : : {
6415 : : struct rte_eth_dev *dev;
6416 : : int ret;
6417 : :
6418 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6419 : 0 : dev = &rte_eth_devices[port_id];
6420 : :
6421 [ # # ]: 0 : if (*dev->dev_ops->timesync_disable == NULL)
6422 : : return -ENOTSUP;
6423 : 0 : ret = eth_err(port_id, (*dev->dev_ops->timesync_disable)(dev));
6424 : :
6425 : 0 : rte_eth_trace_timesync_disable(port_id, ret);
6426 : :
6427 : 0 : return ret;
6428 : : }
6429 : :
6430 : : int
6431 : 0 : rte_eth_timesync_read_rx_timestamp(uint16_t port_id, struct timespec *timestamp,
6432 : : uint32_t flags)
6433 : : {
6434 : : struct rte_eth_dev *dev;
6435 : : int ret;
6436 : :
6437 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6438 : 0 : dev = &rte_eth_devices[port_id];
6439 : :
6440 [ # # ]: 0 : if (timestamp == NULL) {
6441 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6442 : : "Cannot read ethdev port %u Rx timestamp to NULL",
6443 : : port_id);
6444 : 0 : return -EINVAL;
6445 : : }
6446 : :
6447 [ # # ]: 0 : if (*dev->dev_ops->timesync_read_rx_timestamp == NULL)
6448 : : return -ENOTSUP;
6449 : :
6450 : 0 : ret = eth_err(port_id, (*dev->dev_ops->timesync_read_rx_timestamp)
6451 : : (dev, timestamp, flags));
6452 : :
6453 : : rte_eth_trace_timesync_read_rx_timestamp(port_id, timestamp, flags,
6454 : : ret);
6455 : :
6456 : 0 : return ret;
6457 : : }
6458 : :
6459 : : int
6460 : 0 : rte_eth_timesync_read_tx_timestamp(uint16_t port_id,
6461 : : struct timespec *timestamp)
6462 : : {
6463 : : struct rte_eth_dev *dev;
6464 : : int ret;
6465 : :
6466 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6467 : 0 : dev = &rte_eth_devices[port_id];
6468 : :
6469 [ # # ]: 0 : if (timestamp == NULL) {
6470 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6471 : : "Cannot read ethdev port %u Tx timestamp to NULL",
6472 : : port_id);
6473 : 0 : return -EINVAL;
6474 : : }
6475 : :
6476 [ # # ]: 0 : if (*dev->dev_ops->timesync_read_tx_timestamp == NULL)
6477 : : return -ENOTSUP;
6478 : :
6479 : 0 : ret = eth_err(port_id, (*dev->dev_ops->timesync_read_tx_timestamp)
6480 : : (dev, timestamp));
6481 : :
6482 : : rte_eth_trace_timesync_read_tx_timestamp(port_id, timestamp, ret);
6483 : :
6484 : 0 : return ret;
6485 : :
6486 : : }
6487 : :
6488 : : int
6489 : 0 : rte_eth_timesync_adjust_time(uint16_t port_id, int64_t delta)
6490 : : {
6491 : : struct rte_eth_dev *dev;
6492 : : int ret;
6493 : :
6494 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6495 : 0 : dev = &rte_eth_devices[port_id];
6496 : :
6497 [ # # ]: 0 : if (*dev->dev_ops->timesync_adjust_time == NULL)
6498 : : return -ENOTSUP;
6499 : 0 : ret = eth_err(port_id, (*dev->dev_ops->timesync_adjust_time)(dev, delta));
6500 : :
6501 : : rte_eth_trace_timesync_adjust_time(port_id, delta, ret);
6502 : :
6503 : 0 : return ret;
6504 : : }
6505 : :
6506 : : int
6507 : 0 : rte_eth_timesync_adjust_freq(uint16_t port_id, int64_t ppm)
6508 : : {
6509 : : struct rte_eth_dev *dev;
6510 : : int ret;
6511 : :
6512 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6513 : 0 : dev = &rte_eth_devices[port_id];
6514 : :
6515 [ # # ]: 0 : if (*dev->dev_ops->timesync_adjust_freq == NULL)
6516 : : return -ENOTSUP;
6517 : 0 : ret = eth_err(port_id, (*dev->dev_ops->timesync_adjust_freq)(dev, ppm));
6518 : :
6519 : : rte_eth_trace_timesync_adjust_freq(port_id, ppm, ret);
6520 : :
6521 : 0 : return ret;
6522 : : }
6523 : :
6524 : : int
6525 : 0 : rte_eth_timesync_read_time(uint16_t port_id, struct timespec *timestamp)
6526 : : {
6527 : : struct rte_eth_dev *dev;
6528 : : int ret;
6529 : :
6530 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6531 : 0 : dev = &rte_eth_devices[port_id];
6532 : :
6533 [ # # ]: 0 : if (timestamp == NULL) {
6534 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6535 : : "Cannot read ethdev port %u timesync time to NULL",
6536 : : port_id);
6537 : 0 : return -EINVAL;
6538 : : }
6539 : :
6540 [ # # ]: 0 : if (*dev->dev_ops->timesync_read_time == NULL)
6541 : : return -ENOTSUP;
6542 : 0 : ret = eth_err(port_id, (*dev->dev_ops->timesync_read_time)(dev,
6543 : : timestamp));
6544 : :
6545 : : rte_eth_trace_timesync_read_time(port_id, timestamp, ret);
6546 : :
6547 : 0 : return ret;
6548 : : }
6549 : :
6550 : : int
6551 : 0 : rte_eth_timesync_write_time(uint16_t port_id, const struct timespec *timestamp)
6552 : : {
6553 : : struct rte_eth_dev *dev;
6554 : : int ret;
6555 : :
6556 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6557 : 0 : dev = &rte_eth_devices[port_id];
6558 : :
6559 [ # # ]: 0 : if (timestamp == NULL) {
6560 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6561 : : "Cannot write ethdev port %u timesync from NULL time",
6562 : : port_id);
6563 : 0 : return -EINVAL;
6564 : : }
6565 : :
6566 [ # # ]: 0 : if (*dev->dev_ops->timesync_write_time == NULL)
6567 : : return -ENOTSUP;
6568 : 0 : ret = eth_err(port_id, (*dev->dev_ops->timesync_write_time)(dev,
6569 : : timestamp));
6570 : :
6571 : 0 : rte_eth_trace_timesync_write_time(port_id, timestamp, ret);
6572 : :
6573 : 0 : return ret;
6574 : : }
6575 : :
6576 : : int
6577 : 0 : rte_eth_read_clock(uint16_t port_id, uint64_t *clock)
6578 : : {
6579 : : struct rte_eth_dev *dev;
6580 : : int ret;
6581 : :
6582 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6583 : 0 : dev = &rte_eth_devices[port_id];
6584 : :
6585 [ # # ]: 0 : if (clock == NULL) {
6586 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot read ethdev port %u clock to NULL",
6587 : : port_id);
6588 : 0 : return -EINVAL;
6589 : : }
6590 : :
6591 [ # # ]: 0 : if (*dev->dev_ops->read_clock == NULL)
6592 : : return -ENOTSUP;
6593 : 0 : ret = eth_err(port_id, (*dev->dev_ops->read_clock)(dev, clock));
6594 : :
6595 : 0 : rte_eth_trace_read_clock(port_id, clock, ret);
6596 : :
6597 : 0 : return ret;
6598 : : }
6599 : :
6600 : : int
6601 : 0 : rte_eth_dev_get_reg_info(uint16_t port_id, struct rte_dev_reg_info *info)
6602 : : {
6603 : 0 : struct rte_dev_reg_info reg_info = { 0 };
6604 : : int ret;
6605 : :
6606 [ # # ]: 0 : if (info == NULL) {
6607 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6608 : : "Cannot get ethdev port %u register info to NULL",
6609 : : port_id);
6610 : 0 : return -EINVAL;
6611 : : }
6612 : :
6613 : 0 : reg_info.length = info->length;
6614 : 0 : reg_info.data = info->data;
6615 : :
6616 : 0 : ret = rte_eth_dev_get_reg_info_ext(port_id, ®_info);
6617 [ # # ]: 0 : if (ret != 0)
6618 : : return ret;
6619 : :
6620 : 0 : info->length = reg_info.length;
6621 : 0 : info->width = reg_info.width;
6622 : 0 : info->version = reg_info.version;
6623 : 0 : info->offset = reg_info.offset;
6624 : :
6625 : 0 : return 0;
6626 : : }
6627 : :
6628 : : int
6629 : 0 : rte_eth_dev_get_reg_info_ext(uint16_t port_id, struct rte_dev_reg_info *info)
6630 : : {
6631 : : struct rte_eth_dev *dev;
6632 : : uint32_t i;
6633 : : int ret;
6634 : :
6635 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6636 : 0 : dev = &rte_eth_devices[port_id];
6637 : :
6638 [ # # ]: 0 : if (info == NULL) {
6639 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6640 : : "Cannot get ethdev port %u register info to NULL",
6641 : : port_id);
6642 : 0 : return -EINVAL;
6643 : : }
6644 : :
6645 [ # # # # ]: 0 : if (info->names != NULL && info->length != 0)
6646 : 0 : memset(info->names, 0, sizeof(struct rte_eth_reg_name) * info->length);
6647 : :
6648 [ # # ]: 0 : if (*dev->dev_ops->get_reg == NULL)
6649 : : return -ENOTSUP;
6650 : 0 : ret = eth_err(port_id, (*dev->dev_ops->get_reg)(dev, info));
6651 : :
6652 : 0 : rte_ethdev_trace_get_reg_info(port_id, info, ret);
6653 : :
6654 : : /* Report the default names if drivers not report. */
6655 [ # # # # : 0 : if (ret == 0 && info->names != NULL && strlen(info->names[0].name) == 0) {
# # ]
6656 [ # # ]: 0 : for (i = 0; i < info->length; i++)
6657 : 0 : snprintf(info->names[i].name, RTE_ETH_REG_NAME_SIZE,
6658 : 0 : "index_%u", info->offset + i);
6659 : : }
6660 : : return ret;
6661 : : }
6662 : :
6663 : : int
6664 : 0 : rte_eth_dev_get_eeprom_length(uint16_t port_id)
6665 : : {
6666 : : struct rte_eth_dev *dev;
6667 : : int ret;
6668 : :
6669 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6670 : 0 : dev = &rte_eth_devices[port_id];
6671 : :
6672 [ # # ]: 0 : if (*dev->dev_ops->get_eeprom_length == NULL)
6673 : : return -ENOTSUP;
6674 : 0 : ret = eth_err(port_id, (*dev->dev_ops->get_eeprom_length)(dev));
6675 : :
6676 : 0 : rte_ethdev_trace_get_eeprom_length(port_id, ret);
6677 : :
6678 : 0 : return ret;
6679 : : }
6680 : :
6681 : : int
6682 : 0 : rte_eth_dev_get_eeprom(uint16_t port_id, struct rte_dev_eeprom_info *info)
6683 : : {
6684 : : struct rte_eth_dev *dev;
6685 : : int ret;
6686 : :
6687 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6688 : 0 : dev = &rte_eth_devices[port_id];
6689 : :
6690 [ # # ]: 0 : if (info == NULL) {
6691 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6692 : : "Cannot get ethdev port %u EEPROM info to NULL",
6693 : : port_id);
6694 : 0 : return -EINVAL;
6695 : : }
6696 : :
6697 [ # # ]: 0 : if (*dev->dev_ops->get_eeprom == NULL)
6698 : : return -ENOTSUP;
6699 : 0 : ret = eth_err(port_id, (*dev->dev_ops->get_eeprom)(dev, info));
6700 : :
6701 : 0 : rte_ethdev_trace_get_eeprom(port_id, info, ret);
6702 : :
6703 : 0 : return ret;
6704 : : }
6705 : :
6706 : : int
6707 : 0 : rte_eth_dev_set_eeprom(uint16_t port_id, struct rte_dev_eeprom_info *info)
6708 : : {
6709 : : struct rte_eth_dev *dev;
6710 : : int ret;
6711 : :
6712 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6713 : 0 : dev = &rte_eth_devices[port_id];
6714 : :
6715 [ # # ]: 0 : if (info == NULL) {
6716 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6717 : : "Cannot set ethdev port %u EEPROM from NULL info",
6718 : : port_id);
6719 : 0 : return -EINVAL;
6720 : : }
6721 : :
6722 [ # # ]: 0 : if (*dev->dev_ops->set_eeprom == NULL)
6723 : : return -ENOTSUP;
6724 : 0 : ret = eth_err(port_id, (*dev->dev_ops->set_eeprom)(dev, info));
6725 : :
6726 : 0 : rte_ethdev_trace_set_eeprom(port_id, info, ret);
6727 : :
6728 : 0 : return ret;
6729 : : }
6730 : :
6731 : : int
6732 : 0 : rte_eth_dev_get_module_info(uint16_t port_id,
6733 : : struct rte_eth_dev_module_info *modinfo)
6734 : : {
6735 : : struct rte_eth_dev *dev;
6736 : : int ret;
6737 : :
6738 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6739 : 0 : dev = &rte_eth_devices[port_id];
6740 : :
6741 [ # # ]: 0 : if (modinfo == NULL) {
6742 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6743 : : "Cannot get ethdev port %u EEPROM module info to NULL",
6744 : : port_id);
6745 : 0 : return -EINVAL;
6746 : : }
6747 : :
6748 [ # # ]: 0 : if (*dev->dev_ops->get_module_info == NULL)
6749 : : return -ENOTSUP;
6750 : 0 : ret = (*dev->dev_ops->get_module_info)(dev, modinfo);
6751 : :
6752 : 0 : rte_ethdev_trace_get_module_info(port_id, modinfo, ret);
6753 : :
6754 : 0 : return ret;
6755 : : }
6756 : :
6757 : : int
6758 : 0 : rte_eth_dev_get_module_eeprom(uint16_t port_id,
6759 : : struct rte_dev_eeprom_info *info)
6760 : : {
6761 : : struct rte_eth_dev *dev;
6762 : : int ret;
6763 : :
6764 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6765 : 0 : dev = &rte_eth_devices[port_id];
6766 : :
6767 [ # # ]: 0 : if (info == NULL) {
6768 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6769 : : "Cannot get ethdev port %u module EEPROM info to NULL",
6770 : : port_id);
6771 : 0 : return -EINVAL;
6772 : : }
6773 : :
6774 [ # # ]: 0 : if (info->data == NULL) {
6775 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6776 : : "Cannot get ethdev port %u module EEPROM data to NULL",
6777 : : port_id);
6778 : 0 : return -EINVAL;
6779 : : }
6780 : :
6781 [ # # ]: 0 : if (info->length == 0) {
6782 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6783 : : "Cannot get ethdev port %u module EEPROM to data with zero size",
6784 : : port_id);
6785 : 0 : return -EINVAL;
6786 : : }
6787 : :
6788 [ # # ]: 0 : if (*dev->dev_ops->get_module_eeprom == NULL)
6789 : : return -ENOTSUP;
6790 : 0 : ret = (*dev->dev_ops->get_module_eeprom)(dev, info);
6791 : :
6792 : 0 : rte_ethdev_trace_get_module_eeprom(port_id, info, ret);
6793 : :
6794 : 0 : return ret;
6795 : : }
6796 : :
6797 : : int
6798 : 0 : rte_eth_dev_get_dcb_info(uint16_t port_id,
6799 : : struct rte_eth_dcb_info *dcb_info)
6800 : : {
6801 : : struct rte_eth_dev *dev;
6802 : : int ret;
6803 : :
6804 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6805 : 0 : dev = &rte_eth_devices[port_id];
6806 : :
6807 [ # # ]: 0 : if (dcb_info == NULL) {
6808 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6809 : : "Cannot get ethdev port %u DCB info to NULL",
6810 : : port_id);
6811 : 0 : return -EINVAL;
6812 : : }
6813 : :
6814 : : memset(dcb_info, 0, sizeof(struct rte_eth_dcb_info));
6815 : :
6816 [ # # ]: 0 : if (*dev->dev_ops->get_dcb_info == NULL)
6817 : : return -ENOTSUP;
6818 : 0 : ret = eth_err(port_id, (*dev->dev_ops->get_dcb_info)(dev, dcb_info));
6819 : :
6820 : 0 : rte_ethdev_trace_get_dcb_info(port_id, dcb_info, ret);
6821 : :
6822 : 0 : return ret;
6823 : : }
6824 : :
6825 : : static void
6826 : : eth_dev_adjust_nb_desc(uint16_t *nb_desc,
6827 : : const struct rte_eth_desc_lim *desc_lim)
6828 : : {
6829 : : /* Upcast to uint32 to avoid potential overflow with RTE_ALIGN_CEIL(). */
6830 : 0 : uint32_t nb_desc_32 = (uint32_t)*nb_desc;
6831 : :
6832 [ # # # # ]: 0 : if (desc_lim->nb_align != 0)
6833 : 0 : nb_desc_32 = RTE_ALIGN_CEIL(nb_desc_32, desc_lim->nb_align);
6834 : :
6835 [ # # # # ]: 0 : if (desc_lim->nb_max != 0)
6836 : 0 : nb_desc_32 = RTE_MIN(nb_desc_32, desc_lim->nb_max);
6837 : :
6838 : 0 : nb_desc_32 = RTE_MAX(nb_desc_32, desc_lim->nb_min);
6839 : :
6840 : : /* Assign clipped u32 back to u16. */
6841 : 0 : *nb_desc = (uint16_t)nb_desc_32;
6842 : 0 : }
6843 : :
6844 : : int
6845 : 0 : rte_eth_dev_adjust_nb_rx_tx_desc(uint16_t port_id,
6846 : : uint16_t *nb_rx_desc,
6847 : : uint16_t *nb_tx_desc)
6848 : : {
6849 : : struct rte_eth_dev_info dev_info;
6850 : : int ret;
6851 : :
6852 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6853 : :
6854 : 0 : ret = rte_eth_dev_info_get(port_id, &dev_info);
6855 [ # # ]: 0 : if (ret != 0)
6856 : : return ret;
6857 : :
6858 [ # # ]: 0 : if (nb_rx_desc != NULL)
6859 : : eth_dev_adjust_nb_desc(nb_rx_desc, &dev_info.rx_desc_lim);
6860 : :
6861 [ # # ]: 0 : if (nb_tx_desc != NULL)
6862 : : eth_dev_adjust_nb_desc(nb_tx_desc, &dev_info.tx_desc_lim);
6863 : :
6864 : 0 : rte_ethdev_trace_adjust_nb_rx_tx_desc(port_id);
6865 : :
6866 : 0 : return 0;
6867 : : }
6868 : :
6869 : : int
6870 : 0 : rte_eth_dev_hairpin_capability_get(uint16_t port_id,
6871 : : struct rte_eth_hairpin_cap *cap)
6872 : : {
6873 : : struct rte_eth_dev *dev;
6874 : : int ret;
6875 : :
6876 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6877 : 0 : dev = &rte_eth_devices[port_id];
6878 : :
6879 [ # # ]: 0 : if (cap == NULL) {
6880 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6881 : : "Cannot get ethdev port %u hairpin capability to NULL",
6882 : : port_id);
6883 : 0 : return -EINVAL;
6884 : : }
6885 : :
6886 [ # # ]: 0 : if (*dev->dev_ops->hairpin_cap_get == NULL)
6887 : : return -ENOTSUP;
6888 : : memset(cap, 0, sizeof(*cap));
6889 : 0 : ret = eth_err(port_id, (*dev->dev_ops->hairpin_cap_get)(dev, cap));
6890 : :
6891 : 0 : rte_ethdev_trace_hairpin_capability_get(port_id, cap, ret);
6892 : :
6893 : 0 : return ret;
6894 : : }
6895 : :
6896 : : int
6897 : 0 : rte_eth_dev_pool_ops_supported(uint16_t port_id, const char *pool)
6898 : : {
6899 : : struct rte_eth_dev *dev;
6900 : : int ret;
6901 : :
6902 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6903 : 0 : dev = &rte_eth_devices[port_id];
6904 : :
6905 [ # # ]: 0 : if (pool == NULL) {
6906 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6907 : : "Cannot test ethdev port %u mempool operation from NULL pool",
6908 : : port_id);
6909 : 0 : return -EINVAL;
6910 : : }
6911 : :
6912 [ # # ]: 0 : if (*dev->dev_ops->pool_ops_supported == NULL)
6913 : : return 1; /* all pools are supported */
6914 : :
6915 : 0 : ret = (*dev->dev_ops->pool_ops_supported)(dev, pool);
6916 : :
6917 : 0 : rte_ethdev_trace_pool_ops_supported(port_id, pool, ret);
6918 : :
6919 : 0 : return ret;
6920 : : }
6921 : :
6922 : : int
6923 : 0 : rte_eth_representor_info_get(uint16_t port_id,
6924 : : struct rte_eth_representor_info *info)
6925 : : {
6926 : : struct rte_eth_dev *dev;
6927 : : int ret;
6928 : :
6929 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6930 : 0 : dev = &rte_eth_devices[port_id];
6931 : :
6932 [ # # ]: 0 : if (*dev->dev_ops->representor_info_get == NULL)
6933 : : return -ENOTSUP;
6934 : 0 : ret = eth_err(port_id, (*dev->dev_ops->representor_info_get)(dev, info));
6935 : :
6936 : 0 : rte_eth_trace_representor_info_get(port_id, info, ret);
6937 : :
6938 : 0 : return ret;
6939 : : }
6940 : :
6941 : : int
6942 : 0 : rte_eth_rx_metadata_negotiate(uint16_t port_id, uint64_t *features)
6943 : : {
6944 : : struct rte_eth_dev *dev;
6945 : : int ret;
6946 : :
6947 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6948 : 0 : dev = &rte_eth_devices[port_id];
6949 : :
6950 [ # # ]: 0 : if (dev->data->dev_configured != 0) {
6951 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6952 : : "The port (ID=%"PRIu16") is already configured",
6953 : : port_id);
6954 : 0 : return -EBUSY;
6955 : : }
6956 : :
6957 [ # # ]: 0 : if (features == NULL) {
6958 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid features (NULL)");
6959 : 0 : return -EINVAL;
6960 : : }
6961 : :
6962 [ # # # # ]: 0 : if ((*features & RTE_ETH_RX_METADATA_TUNNEL_ID) != 0 &&
6963 : 0 : rte_flow_restore_info_dynflag_register() < 0)
6964 : 0 : *features &= ~RTE_ETH_RX_METADATA_TUNNEL_ID;
6965 : :
6966 [ # # ]: 0 : if (*dev->dev_ops->rx_metadata_negotiate == NULL)
6967 : : return -ENOTSUP;
6968 : 0 : ret = eth_err(port_id,
6969 : : (*dev->dev_ops->rx_metadata_negotiate)(dev, features));
6970 : :
6971 [ # # ]: 0 : rte_eth_trace_rx_metadata_negotiate(port_id, *features, ret);
6972 : :
6973 : 0 : return ret;
6974 : : }
6975 : :
6976 : : int
6977 : 0 : rte_eth_ip_reassembly_capability_get(uint16_t port_id,
6978 : : struct rte_eth_ip_reassembly_params *reassembly_capa)
6979 : : {
6980 : : struct rte_eth_dev *dev;
6981 : : int ret;
6982 : :
6983 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
6984 : 0 : dev = &rte_eth_devices[port_id];
6985 : :
6986 [ # # ]: 0 : if (dev->data->dev_configured == 0) {
6987 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
6988 : : "port_id=%u is not configured, cannot get IP reassembly capability",
6989 : : port_id);
6990 : 0 : return -EINVAL;
6991 : : }
6992 : :
6993 [ # # ]: 0 : if (reassembly_capa == NULL) {
6994 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot get reassembly capability to NULL");
6995 : 0 : return -EINVAL;
6996 : : }
6997 : :
6998 [ # # ]: 0 : if (*dev->dev_ops->ip_reassembly_capability_get == NULL)
6999 : : return -ENOTSUP;
7000 : : memset(reassembly_capa, 0, sizeof(struct rte_eth_ip_reassembly_params));
7001 : :
7002 : 0 : ret = eth_err(port_id, (*dev->dev_ops->ip_reassembly_capability_get)
7003 : : (dev, reassembly_capa));
7004 : :
7005 : 0 : rte_eth_trace_ip_reassembly_capability_get(port_id, reassembly_capa,
7006 : : ret);
7007 : :
7008 : 0 : return ret;
7009 : : }
7010 : :
7011 : : int
7012 : 0 : rte_eth_ip_reassembly_conf_get(uint16_t port_id,
7013 : : struct rte_eth_ip_reassembly_params *conf)
7014 : : {
7015 : : struct rte_eth_dev *dev;
7016 : : int ret;
7017 : :
7018 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
7019 : 0 : dev = &rte_eth_devices[port_id];
7020 : :
7021 [ # # ]: 0 : if (dev->data->dev_configured == 0) {
7022 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
7023 : : "port_id=%u is not configured, cannot get IP reassembly configuration",
7024 : : port_id);
7025 : 0 : return -EINVAL;
7026 : : }
7027 : :
7028 [ # # ]: 0 : if (conf == NULL) {
7029 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Cannot get reassembly info to NULL");
7030 : 0 : return -EINVAL;
7031 : : }
7032 : :
7033 [ # # ]: 0 : if (*dev->dev_ops->ip_reassembly_conf_get == NULL)
7034 : : return -ENOTSUP;
7035 : : memset(conf, 0, sizeof(struct rte_eth_ip_reassembly_params));
7036 : 0 : ret = eth_err(port_id,
7037 : 0 : (*dev->dev_ops->ip_reassembly_conf_get)(dev, conf));
7038 : :
7039 : 0 : rte_eth_trace_ip_reassembly_conf_get(port_id, conf, ret);
7040 : :
7041 : 0 : return ret;
7042 : : }
7043 : :
7044 : : int
7045 : 0 : rte_eth_ip_reassembly_conf_set(uint16_t port_id,
7046 : : const struct rte_eth_ip_reassembly_params *conf)
7047 : : {
7048 : : struct rte_eth_dev *dev;
7049 : : int ret;
7050 : :
7051 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
7052 : 0 : dev = &rte_eth_devices[port_id];
7053 : :
7054 [ # # ]: 0 : if (dev->data->dev_configured == 0) {
7055 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
7056 : : "port_id=%u is not configured, cannot set IP reassembly configuration",
7057 : : port_id);
7058 : 0 : return -EINVAL;
7059 : : }
7060 : :
7061 [ # # ]: 0 : if (dev->data->dev_started != 0) {
7062 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
7063 : : "port_id=%u is started, cannot configure IP reassembly params.",
7064 : : port_id);
7065 : 0 : return -EINVAL;
7066 : : }
7067 : :
7068 [ # # ]: 0 : if (conf == NULL) {
7069 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
7070 : : "Invalid IP reassembly configuration (NULL)");
7071 : 0 : return -EINVAL;
7072 : : }
7073 : :
7074 [ # # ]: 0 : if (*dev->dev_ops->ip_reassembly_conf_set == NULL)
7075 : : return -ENOTSUP;
7076 : 0 : ret = eth_err(port_id,
7077 : : (*dev->dev_ops->ip_reassembly_conf_set)(dev, conf));
7078 : :
7079 : 0 : rte_eth_trace_ip_reassembly_conf_set(port_id, conf, ret);
7080 : :
7081 : 0 : return ret;
7082 : : }
7083 : :
7084 : : int
7085 : 0 : rte_eth_dev_priv_dump(uint16_t port_id, FILE *file)
7086 : : {
7087 : : struct rte_eth_dev *dev;
7088 : :
7089 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
7090 : 0 : dev = &rte_eth_devices[port_id];
7091 : :
7092 [ # # ]: 0 : if (file == NULL) {
7093 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid file (NULL)");
7094 : 0 : return -EINVAL;
7095 : : }
7096 : :
7097 [ # # ]: 0 : if (*dev->dev_ops->eth_dev_priv_dump == NULL)
7098 : : return -ENOTSUP;
7099 : 0 : return eth_err(port_id, (*dev->dev_ops->eth_dev_priv_dump)(dev, file));
7100 : : }
7101 : :
7102 : : int
7103 : 0 : rte_eth_rx_descriptor_dump(uint16_t port_id, uint16_t queue_id,
7104 : : uint16_t offset, uint16_t num, FILE *file)
7105 : : {
7106 : : struct rte_eth_dev *dev;
7107 : :
7108 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
7109 : 0 : dev = &rte_eth_devices[port_id];
7110 : :
7111 [ # # ]: 0 : if (queue_id >= dev->data->nb_rx_queues) {
7112 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid Rx queue_id=%u", queue_id);
7113 : 0 : return -EINVAL;
7114 : : }
7115 : :
7116 [ # # ]: 0 : if (file == NULL) {
7117 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid file (NULL)");
7118 : 0 : return -EINVAL;
7119 : : }
7120 : :
7121 [ # # ]: 0 : if (*dev->dev_ops->eth_rx_descriptor_dump == NULL)
7122 : : return -ENOTSUP;
7123 : :
7124 : 0 : return eth_err(port_id, (*dev->dev_ops->eth_rx_descriptor_dump)(dev,
7125 : : queue_id, offset, num, file));
7126 : : }
7127 : :
7128 : : int
7129 : 0 : rte_eth_tx_descriptor_dump(uint16_t port_id, uint16_t queue_id,
7130 : : uint16_t offset, uint16_t num, FILE *file)
7131 : : {
7132 : : struct rte_eth_dev *dev;
7133 : :
7134 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
7135 : 0 : dev = &rte_eth_devices[port_id];
7136 : :
7137 [ # # ]: 0 : if (queue_id >= dev->data->nb_tx_queues) {
7138 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid Tx queue_id=%u", queue_id);
7139 : 0 : return -EINVAL;
7140 : : }
7141 : :
7142 [ # # ]: 0 : if (file == NULL) {
7143 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid file (NULL)");
7144 : 0 : return -EINVAL;
7145 : : }
7146 : :
7147 [ # # ]: 0 : if (*dev->dev_ops->eth_tx_descriptor_dump == NULL)
7148 : : return -ENOTSUP;
7149 : :
7150 : 0 : return eth_err(port_id, (*dev->dev_ops->eth_tx_descriptor_dump)(dev,
7151 : : queue_id, offset, num, file));
7152 : : }
7153 : :
7154 : : int
7155 : 0 : rte_eth_buffer_split_get_supported_hdr_ptypes(uint16_t port_id, uint32_t *ptypes, int num)
7156 : : {
7157 : : size_t i;
7158 : : int j;
7159 : : struct rte_eth_dev *dev;
7160 : : const uint32_t *all_types;
7161 : 0 : size_t no_of_elements = 0;
7162 : :
7163 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
7164 : 0 : dev = &rte_eth_devices[port_id];
7165 : :
7166 [ # # ]: 0 : if (ptypes == NULL && num > 0) {
7167 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
7168 : : "Cannot get ethdev port %u supported header protocol types to NULL when array size is non zero",
7169 : : port_id);
7170 : 0 : return -EINVAL;
7171 : : }
7172 : :
7173 [ # # ]: 0 : if (*dev->dev_ops->buffer_split_supported_hdr_ptypes_get == NULL)
7174 : : return -ENOTSUP;
7175 : 0 : all_types = (*dev->dev_ops->buffer_split_supported_hdr_ptypes_get)(dev,
7176 : : &no_of_elements);
7177 : :
7178 [ # # ]: 0 : if (all_types == NULL)
7179 : : return 0;
7180 : :
7181 [ # # ]: 0 : for (i = 0, j = 0; i < no_of_elements; ++i) {
7182 [ # # ]: 0 : if (j < num) {
7183 [ # # ]: 0 : ptypes[j] = all_types[i];
7184 : :
7185 : 0 : rte_eth_trace_buffer_split_get_supported_hdr_ptypes(
7186 : : port_id, j, ptypes[j]);
7187 : : }
7188 : 0 : j++;
7189 : : }
7190 : :
7191 : : return j;
7192 : : }
7193 : :
7194 : 0 : int rte_eth_dev_count_aggr_ports(uint16_t port_id)
7195 : : {
7196 : : struct rte_eth_dev *dev;
7197 : : int ret;
7198 : :
7199 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
7200 : 0 : dev = &rte_eth_devices[port_id];
7201 : :
7202 [ # # ]: 0 : if (*dev->dev_ops->count_aggr_ports == NULL)
7203 : : return 0;
7204 : 0 : ret = eth_err(port_id, (*dev->dev_ops->count_aggr_ports)(dev));
7205 : :
7206 : 0 : rte_eth_trace_count_aggr_ports(port_id, ret);
7207 : :
7208 : 0 : return ret;
7209 : : }
7210 : :
7211 : 0 : int rte_eth_dev_map_aggr_tx_affinity(uint16_t port_id, uint16_t tx_queue_id,
7212 : : uint8_t affinity)
7213 : : {
7214 : : struct rte_eth_dev *dev;
7215 : : int aggr_ports;
7216 : : int ret;
7217 : :
7218 [ # # ]: 0 : RTE_ETH_VALID_PORTID_OR_ERR_RET(port_id, -ENODEV);
7219 : 0 : dev = &rte_eth_devices[port_id];
7220 : :
7221 [ # # ]: 0 : if (tx_queue_id >= dev->data->nb_tx_queues) {
7222 : 0 : RTE_ETHDEV_LOG_LINE(ERR, "Invalid Tx queue_id=%u", tx_queue_id);
7223 : 0 : return -EINVAL;
7224 : : }
7225 : :
7226 [ # # ]: 0 : if (*dev->dev_ops->map_aggr_tx_affinity == NULL)
7227 : : return -ENOTSUP;
7228 : :
7229 [ # # ]: 0 : if (dev->data->dev_configured == 0) {
7230 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
7231 : : "Port %u must be configured before Tx affinity mapping",
7232 : : port_id);
7233 : 0 : return -EINVAL;
7234 : : }
7235 : :
7236 [ # # ]: 0 : if (dev->data->dev_started) {
7237 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
7238 : : "Port %u must be stopped to allow configuration",
7239 : : port_id);
7240 : 0 : return -EBUSY;
7241 : : }
7242 : :
7243 : 0 : aggr_ports = rte_eth_dev_count_aggr_ports(port_id);
7244 [ # # ]: 0 : if (aggr_ports == 0) {
7245 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
7246 : : "Port %u has no aggregated port",
7247 : : port_id);
7248 : 0 : return -ENOTSUP;
7249 : : }
7250 : :
7251 [ # # ]: 0 : if (affinity > aggr_ports) {
7252 : 0 : RTE_ETHDEV_LOG_LINE(ERR,
7253 : : "Port %u map invalid affinity %u exceeds the maximum number %u",
7254 : : port_id, affinity, aggr_ports);
7255 : 0 : return -EINVAL;
7256 : : }
7257 : :
7258 : 0 : ret = eth_err(port_id, (*dev->dev_ops->map_aggr_tx_affinity)(dev,
7259 : : tx_queue_id, affinity));
7260 : :
7261 : 0 : rte_eth_trace_map_aggr_tx_affinity(port_id, tx_queue_id, affinity, ret);
7262 : :
7263 : 0 : return ret;
7264 : : }
7265 : :
7266 [ - + ]: 252 : RTE_LOG_REGISTER_DEFAULT(rte_eth_dev_logtype, INFO);
|
