Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright(c) 2010-2016 Intel Corporation
3 : : */
4 : :
5 : : #ifndef _IXGBE_ETHDEV_H_
6 : : #define _IXGBE_ETHDEV_H_
7 : :
8 : : #include <stdint.h>
9 : : #include <stdbool.h>
10 : : #include <sys/queue.h>
11 : :
12 : : #include "base/ixgbe_type.h"
13 : : #include "base/ixgbe_dcb.h"
14 : : #include "base/ixgbe_dcb_82599.h"
15 : : #include "base/ixgbe_dcb_82598.h"
16 : : #include "ixgbe_bypass.h"
17 : : #include "ixgbe_ipsec.h"
18 : : #include <rte_flow.h>
19 : : #include <rte_time.h>
20 : : #include <rte_hash.h>
21 : : #include <rte_pci.h>
22 : : #include <bus_pci_driver.h>
23 : : #include <rte_tm_driver.h>
24 : :
25 : : /* need update link, bit flag */
26 : : #define IXGBE_FLAG_NEED_LINK_UPDATE (uint32_t)(1 << 0)
27 : : #define IXGBE_FLAG_MAILBOX (uint32_t)(1 << 1)
28 : : #define IXGBE_FLAG_PHY_INTERRUPT (uint32_t)(1 << 2)
29 : : #define IXGBE_FLAG_MACSEC (uint32_t)(1 << 3)
30 : : #define IXGBE_FLAG_NEED_LINK_CONFIG (uint32_t)(1 << 4)
31 : :
32 : : /*
33 : : * Defines that were not part of ixgbe_type.h as they are not used by the
34 : : * FreeBSD driver.
35 : : */
36 : : #define IXGBE_ADVTXD_MAC_1588 0x00080000 /* IEEE1588 Timestamp packet */
37 : : #define IXGBE_RXD_STAT_TMST 0x10000 /* Timestamped Packet indication */
38 : : #define IXGBE_ADVTXD_TUCMD_L4T_RSV 0x00001800 /* L4 Packet TYPE, resvd */
39 : : #define IXGBE_RXDADV_ERR_CKSUM_BIT 30
40 : : #define IXGBE_RXDADV_ERR_CKSUM_MSK 3
41 : : #define IXGBE_ADVTXD_MACLEN_SHIFT 9 /* Bit shift for l2_len */
42 : : #define IXGBE_NB_STAT_MAPPING_REGS 32
43 : : #define IXGBE_EXTENDED_VLAN (uint32_t)(1 << 26) /* EXTENDED VLAN ENABLE */
44 : : #define IXGBE_VFTA_SIZE 128
45 : : #define IXGBE_HKEY_MAX_INDEX 10
46 : : #define IXGBE_MAX_RX_QUEUE_NUM 128
47 : : #define IXGBE_MAX_INTR_QUEUE_NUM 15
48 : : #define IXGBE_VMDQ_DCB_NB_QUEUES IXGBE_MAX_RX_QUEUE_NUM
49 : : #define IXGBE_DCB_NB_QUEUES IXGBE_MAX_RX_QUEUE_NUM
50 : : #define IXGBE_NONE_MODE_TX_NB_QUEUES 64
51 : :
52 : : #ifndef NBBY
53 : : #define NBBY 8 /* number of bits in a byte */
54 : : #endif
55 : : #define IXGBE_HWSTRIP_BITMAP_SIZE (IXGBE_MAX_RX_QUEUE_NUM / (sizeof(uint32_t) * NBBY))
56 : :
57 : : /* EITR Interval is in 2048ns uinits for 1G and 10G link */
58 : : #define IXGBE_EITR_INTERVAL_UNIT_NS 2048
59 : : #define IXGBE_EITR_ITR_INT_SHIFT 3
60 : : #define IXGBE_EITR_INTERVAL_US(us) \
61 : : (((us) * 1000 / IXGBE_EITR_INTERVAL_UNIT_NS << IXGBE_EITR_ITR_INT_SHIFT) & \
62 : : IXGBE_EITR_ITR_INT_MASK)
63 : :
64 : : #define IXGBE_QUEUE_ITR_INTERVAL_DEFAULT 500 /* 500us */
65 : :
66 : : /* Loopback operation modes */
67 : : #define IXGBE_LPBK_NONE 0x0 /* Default value. Loopback is disabled. */
68 : : #define IXGBE_LPBK_TX_RX 0x1 /* Tx->Rx loopback operation is enabled. */
69 : : /* X540-X550 specific loopback operations */
70 : : #define IXGBE_MII_AUTONEG_ENABLE 0x1000 /* Auto-negotiation enable (default = 1) */
71 : :
72 : : #define IXGBE_MAX_JUMBO_FRAME_SIZE 0x2600 /* Maximum Jumbo frame size. */
73 : :
74 : : #define IXGBE_RTTBCNRC_RF_INT_MASK_BASE 0x000003FF
75 : : #define IXGBE_RTTBCNRC_RF_INT_MASK_M \
76 : : (IXGBE_RTTBCNRC_RF_INT_MASK_BASE << IXGBE_RTTBCNRC_RF_INT_SHIFT)
77 : :
78 : : #define IXGBE_MAX_QUEUE_NUM_PER_VF 8
79 : :
80 : : #define IXGBE_SYN_FILTER_ENABLE 0x00000001 /* syn filter enable field */
81 : : #define IXGBE_SYN_FILTER_QUEUE 0x000000FE /* syn filter queue field */
82 : : #define IXGBE_SYN_FILTER_QUEUE_SHIFT 1 /* syn filter queue field shift */
83 : : #define IXGBE_SYN_FILTER_SYNQFP 0x80000000 /* syn filter SYNQFP */
84 : :
85 : : #define IXGBE_ETQF_UP 0x00070000 /* ethertype filter priority field */
86 : : #define IXGBE_ETQF_SHIFT 16
87 : : #define IXGBE_ETQF_UP_EN 0x00080000
88 : : #define IXGBE_ETQF_ETHERTYPE 0x0000FFFF /* ethertype filter ethertype field */
89 : : #define IXGBE_ETQF_MAX_PRI 7
90 : :
91 : : #define IXGBE_SDPQF_DSTPORT 0xFFFF0000 /* dst port field */
92 : : #define IXGBE_SDPQF_DSTPORT_SHIFT 16 /* dst port field shift */
93 : : #define IXGBE_SDPQF_SRCPORT 0x0000FFFF /* src port field */
94 : :
95 : : #define IXGBE_L34T_IMIR_SIZE_BP 0x00001000
96 : : #define IXGBE_L34T_IMIR_RESERVE 0x00080000 /* bit 13 to 19 must be set to 1000000b. */
97 : : #define IXGBE_L34T_IMIR_LLI 0x00100000
98 : : #define IXGBE_L34T_IMIR_QUEUE 0x0FE00000
99 : : #define IXGBE_L34T_IMIR_QUEUE_SHIFT 21
100 : : #define IXGBE_5TUPLE_MAX_PRI 7
101 : : #define IXGBE_5TUPLE_MIN_PRI 1
102 : :
103 : : /* The overhead from MTU to max frame size. */
104 : : #define IXGBE_ETH_OVERHEAD (RTE_ETHER_HDR_LEN + RTE_ETHER_CRC_LEN)
105 : :
106 : : /* The max frame size with default MTU */
107 : : #define IXGBE_ETH_MAX_LEN (RTE_ETHER_MTU + IXGBE_ETH_OVERHEAD)
108 : :
109 : : /* bit of VXLAN tunnel type | 7 bits of zeros | 8 bits of zeros*/
110 : : #define IXGBE_FDIR_VXLAN_TUNNEL_TYPE 0x8000
111 : : /* bit of NVGRE tunnel type | 7 bits of zeros | 8 bits of zeros*/
112 : : #define IXGBE_FDIR_NVGRE_TUNNEL_TYPE 0x0
113 : :
114 : : #define IXGBE_RSS_OFFLOAD_ALL ( \
115 : : RTE_ETH_RSS_IPV4 | \
116 : : RTE_ETH_RSS_NONFRAG_IPV4_TCP | \
117 : : RTE_ETH_RSS_NONFRAG_IPV4_UDP | \
118 : : RTE_ETH_RSS_IPV6 | \
119 : : RTE_ETH_RSS_NONFRAG_IPV6_TCP | \
120 : : RTE_ETH_RSS_NONFRAG_IPV6_UDP | \
121 : : RTE_ETH_RSS_IPV6_EX | \
122 : : RTE_ETH_RSS_IPV6_TCP_EX | \
123 : : RTE_ETH_RSS_IPV6_UDP_EX)
124 : :
125 : : #define IXGBE_VF_IRQ_ENABLE_MASK 3 /* vf irq enable mask */
126 : : #define IXGBE_VF_MAXMSIVECTOR 1
127 : :
128 : : #define IXGBE_MISC_VEC_ID RTE_INTR_VEC_ZERO_OFFSET
129 : : #define IXGBE_RX_VEC_START RTE_INTR_VEC_RXTX_OFFSET
130 : :
131 : : #define IXGBE_SECTX_MINSECIFG_MASK 0x0000000F
132 : :
133 : : #define IXGBE_MACSEC_PNTHRSH 0xFFFFFE00
134 : :
135 : : #define IXGBE_MAX_FDIR_FILTER_NUM (1024 * 32)
136 : : #define IXGBE_MAX_L2_TN_FILTER_NUM 128
137 : :
138 : : /* Link speed for X550 auto negotiation */
139 : : #define IXGBE_LINK_SPEED_X550_AUTONEG (IXGBE_LINK_SPEED_100_FULL | \
140 : : IXGBE_LINK_SPEED_1GB_FULL | \
141 : : IXGBE_LINK_SPEED_2_5GB_FULL | \
142 : : IXGBE_LINK_SPEED_5GB_FULL | \
143 : : IXGBE_LINK_SPEED_10GB_FULL)
144 : :
145 : : /*
146 : : * Information about the fdir mode.
147 : : */
148 : : struct ixgbe_hw_fdir_mask {
149 : : uint16_t vlan_tci_mask;
150 : : uint32_t src_ipv4_mask;
151 : : uint32_t dst_ipv4_mask;
152 : : uint16_t src_ipv6_mask;
153 : : uint16_t dst_ipv6_mask;
154 : : uint8_t l4_proto_match;
155 : : uint16_t src_port_mask;
156 : : uint16_t dst_port_mask;
157 : : uint16_t flex_bytes_mask;
158 : : uint8_t mac_addr_byte_mask;
159 : : uint32_t tunnel_id_mask;
160 : : uint8_t tunnel_type_mask;
161 : : };
162 : :
163 : : struct ixgbe_fdir_filter {
164 : : TAILQ_ENTRY(ixgbe_fdir_filter) entries;
165 : : union ixgbe_atr_input ixgbe_fdir; /* key of fdir filter*/
166 : : uint32_t fdirflags; /* drop or forward */
167 : : uint32_t fdirhash; /* hash value for fdir */
168 : : uint8_t queue; /* assigned rx queue */
169 : : };
170 : :
171 : : /* list of fdir filters */
172 : : TAILQ_HEAD(ixgbe_fdir_filter_list, ixgbe_fdir_filter);
173 : :
174 : : struct ixgbe_fdir_rule {
175 : : struct ixgbe_hw_fdir_mask mask;
176 : : union ixgbe_atr_input ixgbe_fdir; /* key of fdir filter*/
177 : : bool b_spec; /* If TRUE, ixgbe_fdir, fdirflags, queue have meaning. */
178 : : bool b_mask; /* If TRUE, mask has meaning. */
179 : : enum rte_fdir_mode mode; /* IP, MAC VLAN, Tunnel */
180 : : uint32_t fdirflags; /* drop or forward */
181 : : uint32_t soft_id; /* an unique value for this rule */
182 : : uint8_t queue; /* assigned rx queue */
183 : : uint8_t flex_bytes_offset;
184 : : };
185 : :
186 : : struct ixgbe_hw_fdir_info {
187 : : struct ixgbe_hw_fdir_mask mask;
188 : : uint8_t flex_bytes_offset;
189 : : uint16_t collision;
190 : : uint16_t free;
191 : : uint16_t maxhash;
192 : : uint8_t maxlen;
193 : : uint64_t add;
194 : : uint64_t remove;
195 : : uint64_t f_add;
196 : : uint64_t f_remove;
197 : : struct ixgbe_fdir_filter_list fdir_list; /* filter list*/
198 : : /* store the pointers of the filters, index is the hash value. */
199 : : struct ixgbe_fdir_filter **hash_map;
200 : : struct rte_hash *hash_handle; /* cuckoo hash handler */
201 : : uint32_t n_flows;
202 : : bool mask_added; /* If already got mask from consistent filter */
203 : : };
204 : :
205 : : struct ixgbe_rte_flow_rss_conf {
206 : : struct rte_flow_action_rss conf; /**< RSS parameters. */
207 : : uint8_t key[IXGBE_HKEY_MAX_INDEX * sizeof(uint32_t)]; /* Hash key. */
208 : : uint16_t queue[IXGBE_MAX_RX_QUEUE_NUM]; /**< Queues indices to use. */
209 : : };
210 : :
211 : : /* structure for interrupt relative data */
212 : : struct ixgbe_interrupt {
213 : : uint32_t flags;
214 : : uint32_t mask;
215 : : /*to save original mask during delayed handler */
216 : : uint32_t mask_original;
217 : : };
218 : :
219 : : struct ixgbe_stat_mapping_registers {
220 : : uint32_t tqsm[IXGBE_NB_STAT_MAPPING_REGS];
221 : : uint32_t rqsmr[IXGBE_NB_STAT_MAPPING_REGS];
222 : : };
223 : :
224 : : struct ixgbe_vfta {
225 : : uint32_t vfta[IXGBE_VFTA_SIZE];
226 : : };
227 : :
228 : : struct ixgbe_hwstrip {
229 : : uint32_t bitmap[IXGBE_HWSTRIP_BITMAP_SIZE];
230 : : };
231 : :
232 : : /*
233 : : * VF data which used by PF host only
234 : : */
235 : : #define IXGBE_MAX_VF_MC_ENTRIES 30
236 : : #define IXGBE_MAX_UTA 128
237 : :
238 : : struct ixgbe_uta_info {
239 : : uint8_t uc_filter_type;
240 : : uint16_t uta_in_use;
241 : : uint32_t uta_shadow[IXGBE_MAX_UTA];
242 : : };
243 : :
244 : : struct ixgbe_vf_info {
245 : : uint8_t vf_mac_addresses[RTE_ETHER_ADDR_LEN];
246 : : uint16_t vf_mc_hashes[IXGBE_MAX_VF_MC_ENTRIES];
247 : : uint16_t num_vf_mc_hashes;
248 : : uint16_t default_vf_vlan_id;
249 : : uint16_t vlans_enabled;
250 : : bool clear_to_send;
251 : : uint16_t tx_rate[IXGBE_MAX_QUEUE_NUM_PER_VF];
252 : : uint16_t vlan_count;
253 : : uint8_t spoofchk_enabled;
254 : : uint8_t api_version;
255 : : uint16_t switch_domain_id;
256 : : uint16_t xcast_mode;
257 : : uint16_t mac_count;
258 : : };
259 : :
260 : : /*
261 : : * Possible l4type of 5tuple filters.
262 : : */
263 : : enum ixgbe_5tuple_protocol {
264 : : IXGBE_FILTER_PROTOCOL_TCP = 0,
265 : : IXGBE_FILTER_PROTOCOL_UDP,
266 : : IXGBE_FILTER_PROTOCOL_SCTP,
267 : : IXGBE_FILTER_PROTOCOL_NONE,
268 : : };
269 : :
270 : : TAILQ_HEAD(ixgbe_5tuple_filter_list, ixgbe_5tuple_filter);
271 : :
272 : : struct ixgbe_5tuple_filter_info {
273 : : uint32_t dst_ip;
274 : : uint32_t src_ip;
275 : : uint16_t dst_port;
276 : : uint16_t src_port;
277 : : enum ixgbe_5tuple_protocol proto; /* l4 protocol. */
278 : : uint8_t priority; /* seven levels (001b-111b), 111b is highest,
279 : : used when more than one filter matches. */
280 : : uint8_t dst_ip_mask:1, /* if mask is 1b, do not compare dst ip. */
281 : : src_ip_mask:1, /* if mask is 1b, do not compare src ip. */
282 : : dst_port_mask:1, /* if mask is 1b, do not compare dst port. */
283 : : src_port_mask:1, /* if mask is 1b, do not compare src port. */
284 : : proto_mask:1; /* if mask is 1b, do not compare protocol. */
285 : : };
286 : :
287 : : /* 5tuple filter structure */
288 : : struct ixgbe_5tuple_filter {
289 : : TAILQ_ENTRY(ixgbe_5tuple_filter) entries;
290 : : uint16_t index; /* the index of 5tuple filter */
291 : : struct ixgbe_5tuple_filter_info filter_info;
292 : : uint16_t queue; /* rx queue assigned to */
293 : : };
294 : :
295 : : #define IXGBE_5TUPLE_ARRAY_SIZE \
296 : : (RTE_ALIGN(IXGBE_MAX_FTQF_FILTERS, (sizeof(uint32_t) * NBBY)) / \
297 : : (sizeof(uint32_t) * NBBY))
298 : :
299 : : struct ixgbe_ethertype_filter {
300 : : uint16_t ethertype;
301 : : uint32_t etqf;
302 : : uint32_t etqs;
303 : : /**
304 : : * If this filter is added by configuration,
305 : : * it should not be removed.
306 : : */
307 : : bool conf;
308 : : };
309 : :
310 : : /*
311 : : * Structure to store filters' info.
312 : : */
313 : : struct ixgbe_filter_info {
314 : : uint8_t ethertype_mask; /* Bit mask for every used ethertype filter */
315 : : /* store used ethertype filters*/
316 : : struct ixgbe_ethertype_filter ethertype_filters[IXGBE_MAX_ETQF_FILTERS];
317 : : /* Bit mask for every used 5tuple filter */
318 : : uint32_t fivetuple_mask[IXGBE_5TUPLE_ARRAY_SIZE];
319 : : struct ixgbe_5tuple_filter_list fivetuple_list;
320 : : /* store the SYN filter info */
321 : : uint32_t syn_info;
322 : : /* store the rss filter info */
323 : : struct ixgbe_rte_flow_rss_conf rss_info;
324 : : };
325 : :
326 : : struct ixgbe_l2_tn_key {
327 : : enum rte_eth_tunnel_type l2_tn_type;
328 : : uint32_t tn_id;
329 : : };
330 : :
331 : : struct ixgbe_l2_tn_filter {
332 : : TAILQ_ENTRY(ixgbe_l2_tn_filter) entries;
333 : : struct ixgbe_l2_tn_key key;
334 : : uint32_t pool;
335 : : };
336 : :
337 : : TAILQ_HEAD(ixgbe_l2_tn_filter_list, ixgbe_l2_tn_filter);
338 : :
339 : : struct ixgbe_l2_tn_info {
340 : : struct ixgbe_l2_tn_filter_list l2_tn_list;
341 : : struct ixgbe_l2_tn_filter **hash_map;
342 : : struct rte_hash *hash_handle;
343 : : bool e_tag_en; /* e-tag enabled */
344 : : bool e_tag_fwd_en; /* e-tag based forwarding enabled */
345 : : uint16_t e_tag_ether_type; /* ether type for e-tag */
346 : : };
347 : :
348 : : struct rte_flow {
349 : : enum rte_filter_type filter_type;
350 : : /* security flows are not rte_filter_type */
351 : : bool is_security;
352 : : void *rule;
353 : : };
354 : :
355 : : struct ixgbe_macsec_setting {
356 : : uint8_t offload_en;
357 : : uint8_t encrypt_en;
358 : : uint8_t replayprotect_en;
359 : : };
360 : :
361 : : /*
362 : : * Statistics counters collected by the MACsec
363 : : */
364 : : struct ixgbe_macsec_stats {
365 : : /* TX port statistics */
366 : : uint64_t out_pkts_untagged;
367 : : uint64_t out_pkts_encrypted;
368 : : uint64_t out_pkts_protected;
369 : : uint64_t out_octets_encrypted;
370 : : uint64_t out_octets_protected;
371 : :
372 : : /* RX port statistics */
373 : : uint64_t in_pkts_untagged;
374 : : uint64_t in_pkts_badtag;
375 : : uint64_t in_pkts_nosci;
376 : : uint64_t in_pkts_unknownsci;
377 : : uint64_t in_octets_decrypted;
378 : : uint64_t in_octets_validated;
379 : :
380 : : /* RX SC statistics */
381 : : uint64_t in_pkts_unchecked;
382 : : uint64_t in_pkts_delayed;
383 : : uint64_t in_pkts_late;
384 : :
385 : : /* RX SA statistics */
386 : : uint64_t in_pkts_ok;
387 : : uint64_t in_pkts_invalid;
388 : : uint64_t in_pkts_notvalid;
389 : : uint64_t in_pkts_unusedsa;
390 : : uint64_t in_pkts_notusingsa;
391 : : };
392 : :
393 : : /* The configuration of bandwidth */
394 : : struct ixgbe_bw_conf {
395 : : uint8_t tc_num; /* Number of TCs. */
396 : : };
397 : :
398 : : /* Struct to store Traffic Manager shaper profile. */
399 : : struct ixgbe_tm_shaper_profile {
400 : : TAILQ_ENTRY(ixgbe_tm_shaper_profile) node;
401 : : uint32_t shaper_profile_id;
402 : : uint32_t reference_count;
403 : : struct rte_tm_shaper_params profile;
404 : : };
405 : :
406 : : TAILQ_HEAD(ixgbe_shaper_profile_list, ixgbe_tm_shaper_profile);
407 : :
408 : : /* node type of Traffic Manager */
409 : : enum ixgbe_tm_node_type {
410 : : IXGBE_TM_NODE_TYPE_PORT,
411 : : IXGBE_TM_NODE_TYPE_TC,
412 : : IXGBE_TM_NODE_TYPE_QUEUE,
413 : : IXGBE_TM_NODE_TYPE_MAX,
414 : : };
415 : :
416 : : /* Struct to store Traffic Manager node configuration. */
417 : : struct ixgbe_tm_node {
418 : : TAILQ_ENTRY(ixgbe_tm_node) node;
419 : : uint32_t id;
420 : : uint32_t priority;
421 : : uint32_t weight;
422 : : uint32_t reference_count;
423 : : uint16_t no;
424 : : struct ixgbe_tm_node *parent;
425 : : struct ixgbe_tm_shaper_profile *shaper_profile;
426 : : struct rte_tm_node_params params;
427 : : };
428 : :
429 : : TAILQ_HEAD(ixgbe_tm_node_list, ixgbe_tm_node);
430 : :
431 : : /* The configuration of Traffic Manager */
432 : : struct ixgbe_tm_conf {
433 : : struct ixgbe_shaper_profile_list shaper_profile_list;
434 : : struct ixgbe_tm_node *root; /* root node - port */
435 : : struct ixgbe_tm_node_list tc_list; /* node list for all the TCs */
436 : : struct ixgbe_tm_node_list queue_list; /* node list for all the queues */
437 : : /**
438 : : * The number of added TC nodes.
439 : : * It should be no more than the TC number of this port.
440 : : */
441 : : uint32_t nb_tc_node;
442 : : /**
443 : : * The number of added queue nodes.
444 : : * It should be no more than the queue number of this port.
445 : : */
446 : : uint32_t nb_queue_node;
447 : : /**
448 : : * This flag is used to check if APP can change the TM node
449 : : * configuration.
450 : : * When it's true, means the configuration is applied to HW,
451 : : * APP should not change the configuration.
452 : : * As we don't support on-the-fly configuration, when starting
453 : : * the port, APP should call the hierarchy_commit API to set this
454 : : * flag to true. When stopping the port, this flag should be set
455 : : * to false.
456 : : */
457 : : bool committed;
458 : : };
459 : :
460 : : struct ixgbe_filter_ele_base;
461 : : TAILQ_HEAD(ixgbe_filter_ele_list, ixgbe_filter_ele_base);
462 : :
463 : : /*
464 : : * Structure to store private data for each driver instance (for each port).
465 : : */
466 : : struct ixgbe_adapter {
467 : : struct ixgbe_hw hw;
468 : : struct ixgbe_hw_stats stats;
469 : : struct ixgbe_macsec_stats macsec_stats;
470 : : struct ixgbe_macsec_setting macsec_setting;
471 : : struct rte_eth_fdir_conf fdir_conf;
472 : : struct ixgbe_hw_fdir_info fdir;
473 : : struct ixgbe_interrupt intr;
474 : : struct ixgbe_stat_mapping_registers stat_mappings;
475 : : struct ixgbe_vfta shadow_vfta;
476 : : struct ixgbe_hwstrip hwstrip;
477 : : struct ixgbe_dcb_config dcb_config;
478 : : struct ixgbe_vf_info *vfdata;
479 : : struct ixgbe_uta_info uta_info;
480 : : #ifdef RTE_LIBRTE_IXGBE_BYPASS
481 : : struct ixgbe_bypass_info bps;
482 : : #endif /* RTE_LIBRTE_IXGBE_BYPASS */
483 : : struct ixgbe_filter_info filter;
484 : : struct ixgbe_filter_ele_list flow_list;
485 : : struct ixgbe_l2_tn_info l2_tn;
486 : : struct ixgbe_bw_conf bw_conf;
487 : : struct ixgbe_ipsec ipsec;
488 : : bool rx_bulk_alloc_allowed;
489 : : bool rx_vec_allowed;
490 : : struct rte_timecounter systime_tc;
491 : : struct rte_timecounter rx_tstamp_tc;
492 : : struct rte_timecounter tx_tstamp_tc;
493 : : struct ixgbe_tm_conf tm_conf;
494 : :
495 : : /* For RSS reta table update */
496 : : uint8_t rss_reta_updated;
497 : :
498 : : /* Used for limiting SDP3 TX_DISABLE checks */
499 : : uint8_t sdp3_no_tx_disable;
500 : : uint16_t max_vfs;
501 : :
502 : : /* Used for VF link sync with PF's physical and logical (by checking
503 : : * mailbox status) link status.
504 : : */
505 : : uint8_t pflink_fullchk;
506 : : uint8_t mac_ctrl_frame_fwd;
507 : : RTE_ATOMIC(bool) link_thread_running;
508 : : rte_thread_t link_thread_tid;
509 : : };
510 : :
511 : : struct ixgbe_vf_representor {
512 : : uint16_t vf_id;
513 : : uint16_t switch_domain_id;
514 : : uint16_t pf_port_id;
515 : : };
516 : :
517 : : int ixgbe_vf_representor_init(struct rte_eth_dev *ethdev, void *init_params);
518 : : int ixgbe_vf_representor_uninit(struct rte_eth_dev *ethdev);
519 : : uint16_t ixgbe_vf_representor_rx_burst(void *rx_queue, struct rte_mbuf **rx_pkts, uint16_t nb_pkts);
520 : : uint16_t ixgbe_vf_representor_tx_burst(void *tx_queue, struct rte_mbuf **tx_pkts, uint16_t nb_pkts);
521 : :
522 : : #define IXGBE_DEV_FDIR_CONF(dev) \
523 : : (&((struct ixgbe_adapter *)(dev)->data->dev_private)->fdir_conf)
524 : :
525 : : #define IXGBE_DEV_PRIVATE_TO_ADAPTER(adapter) \
526 : : ((struct ixgbe_adapter *)adapter)
527 : :
528 : : #define IXGBE_DEV_PRIVATE_TO_FDIR_CONF(adapter) \
529 : : (&(adapter)->fdir_conf)
530 : :
531 : : #define IXGBE_DEV_PRIVATE_TO_HW(adapter)\
532 : : (&((struct ixgbe_adapter *)adapter)->hw)
533 : :
534 : : #define IXGBE_DEV_PRIVATE_TO_STATS(adapter) \
535 : : (&((struct ixgbe_adapter *)adapter)->stats)
536 : :
537 : : #define IXGBE_DEV_PRIVATE_TO_MACSEC_STATS(adapter) \
538 : : (&((struct ixgbe_adapter *)adapter)->macsec_stats)
539 : :
540 : : #define IXGBE_DEV_PRIVATE_TO_MACSEC_SETTING(adapter) \
541 : : (&((struct ixgbe_adapter *)adapter)->macsec_setting)
542 : :
543 : : #define IXGBE_DEV_PRIVATE_TO_INTR(adapter) \
544 : : (&((struct ixgbe_adapter *)adapter)->intr)
545 : :
546 : : #define IXGBE_DEV_PRIVATE_TO_FDIR_INFO(adapter) \
547 : : (&((struct ixgbe_adapter *)adapter)->fdir)
548 : :
549 : : #define IXGBE_DEV_PRIVATE_TO_STAT_MAPPINGS(adapter) \
550 : : (&((struct ixgbe_adapter *)adapter)->stat_mappings)
551 : :
552 : : #define IXGBE_DEV_PRIVATE_TO_VFTA(adapter) \
553 : : (&((struct ixgbe_adapter *)adapter)->shadow_vfta)
554 : :
555 : : #define IXGBE_DEV_PRIVATE_TO_HWSTRIP_BITMAP(adapter) \
556 : : (&((struct ixgbe_adapter *)adapter)->hwstrip)
557 : :
558 : : #define IXGBE_DEV_PRIVATE_TO_DCB_CFG(adapter) \
559 : : (&((struct ixgbe_adapter *)adapter)->dcb_config)
560 : :
561 : : #define IXGBE_DEV_PRIVATE_TO_P_VFDATA(adapter) \
562 : : (&((struct ixgbe_adapter *)adapter)->vfdata)
563 : :
564 : : #define IXGBE_DEV_PRIVATE_TO_PFDATA(adapter) \
565 : : (&((struct ixgbe_adapter *)adapter)->mr_data)
566 : :
567 : : #define IXGBE_DEV_PRIVATE_TO_UTA(adapter) \
568 : : (&((struct ixgbe_adapter *)adapter)->uta_info)
569 : :
570 : : #define IXGBE_DEV_PRIVATE_TO_FILTER_INFO(adapter) \
571 : : (&((struct ixgbe_adapter *)adapter)->filter)
572 : :
573 : : #define IXGBE_DEV_PRIVATE_TO_L2_TN_INFO(adapter) \
574 : : (&((struct ixgbe_adapter *)adapter)->l2_tn)
575 : :
576 : : #define IXGBE_DEV_PRIVATE_TO_BW_CONF(adapter) \
577 : : (&((struct ixgbe_adapter *)adapter)->bw_conf)
578 : :
579 : : #define IXGBE_DEV_PRIVATE_TO_TM_CONF(adapter) \
580 : : (&((struct ixgbe_adapter *)adapter)->tm_conf)
581 : :
582 : : #define IXGBE_DEV_PRIVATE_TO_IPSEC(adapter)\
583 : : (&((struct ixgbe_adapter *)adapter)->ipsec)
584 : :
585 : : /*
586 : : * RX/TX function prototypes
587 : : */
588 : : void ixgbe_dev_clear_queues(struct rte_eth_dev *dev);
589 : :
590 : : void ixgbe_dev_free_queues(struct rte_eth_dev *dev);
591 : :
592 : : void ixgbe_dev_rx_queue_release(struct rte_eth_dev *dev, uint16_t qid);
593 : :
594 : : void ixgbe_dev_tx_queue_release(struct rte_eth_dev *dev, uint16_t qid);
595 : :
596 : : int ixgbe_dev_rx_queue_setup(struct rte_eth_dev *dev, uint16_t rx_queue_id,
597 : : uint16_t nb_rx_desc, unsigned int socket_id,
598 : : const struct rte_eth_rxconf *rx_conf,
599 : : struct rte_mempool *mb_pool);
600 : :
601 : : int ixgbe_dev_tx_queue_setup(struct rte_eth_dev *dev, uint16_t tx_queue_id,
602 : : uint16_t nb_tx_desc, unsigned int socket_id,
603 : : const struct rte_eth_txconf *tx_conf);
604 : :
605 : : int ixgbe_dev_rx_queue_count(void *rx_queue);
606 : :
607 : : int ixgbe_dev_rx_descriptor_status(void *rx_queue, uint16_t offset);
608 : : int ixgbe_dev_tx_descriptor_status(void *tx_queue, uint16_t offset);
609 : :
610 : : int ixgbe_dev_rx_init(struct rte_eth_dev *dev);
611 : :
612 : : void ixgbe_dev_tx_init(struct rte_eth_dev *dev);
613 : :
614 : : int ixgbe_dev_rxtx_start(struct rte_eth_dev *dev);
615 : :
616 : : int ixgbe_dev_rx_queue_start(struct rte_eth_dev *dev, uint16_t rx_queue_id);
617 : :
618 : : int ixgbe_dev_rx_queue_stop(struct rte_eth_dev *dev, uint16_t rx_queue_id);
619 : :
620 : : int ixgbe_dev_tx_queue_start(struct rte_eth_dev *dev, uint16_t tx_queue_id);
621 : :
622 : : int ixgbe_dev_tx_queue_stop(struct rte_eth_dev *dev, uint16_t tx_queue_id);
623 : :
624 : : void ixgbe_rxq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
625 : : struct rte_eth_rxq_info *qinfo);
626 : :
627 : : void ixgbe_txq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
628 : : struct rte_eth_txq_info *qinfo);
629 : :
630 : : void ixgbe_recycle_rxq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
631 : : struct rte_eth_recycle_rxq_info *recycle_rxq_info);
632 : :
633 : : int ixgbevf_dev_rx_init(struct rte_eth_dev *dev);
634 : :
635 : : void ixgbevf_dev_tx_init(struct rte_eth_dev *dev);
636 : :
637 : : void ixgbevf_dev_rxtx_start(struct rte_eth_dev *dev);
638 : :
639 : : uint16_t ixgbe_recv_pkts(void *rx_queue, struct rte_mbuf **rx_pkts,
640 : : uint16_t nb_pkts);
641 : :
642 : : uint16_t ixgbe_recv_pkts_bulk_alloc(void *rx_queue, struct rte_mbuf **rx_pkts,
643 : : uint16_t nb_pkts);
644 : :
645 : : uint16_t ixgbe_recv_pkts_lro_single_alloc(void *rx_queue,
646 : : struct rte_mbuf **rx_pkts, uint16_t nb_pkts);
647 : : uint16_t ixgbe_recv_pkts_lro_bulk_alloc(void *rx_queue,
648 : : struct rte_mbuf **rx_pkts, uint16_t nb_pkts);
649 : :
650 : : uint16_t ixgbe_xmit_pkts(void *tx_queue, struct rte_mbuf **tx_pkts,
651 : : uint16_t nb_pkts);
652 : :
653 : : uint16_t ixgbe_xmit_pkts_simple(void *tx_queue, struct rte_mbuf **tx_pkts,
654 : : uint16_t nb_pkts);
655 : :
656 : : uint16_t ixgbe_prep_pkts(void *tx_queue, struct rte_mbuf **tx_pkts,
657 : : uint16_t nb_pkts);
658 : :
659 : : int ixgbe_dev_rss_hash_update(struct rte_eth_dev *dev,
660 : : struct rte_eth_rss_conf *rss_conf);
661 : :
662 : : int ixgbe_dev_rss_hash_conf_get(struct rte_eth_dev *dev,
663 : : struct rte_eth_rss_conf *rss_conf);
664 : :
665 : : uint16_t ixgbe_reta_size_get(enum ixgbe_mac_type mac_type);
666 : :
667 : : uint32_t ixgbe_reta_reg_get(enum ixgbe_mac_type mac_type, uint16_t reta_idx);
668 : :
669 : : uint32_t ixgbe_mrqc_reg_get(enum ixgbe_mac_type mac_type);
670 : :
671 : : uint32_t ixgbe_rssrk_reg_get(enum ixgbe_mac_type mac_type, uint8_t i);
672 : :
673 : : bool ixgbe_rss_update_sp(enum ixgbe_mac_type mac_type);
674 : :
675 : : int ixgbe_add_del_ntuple_filter(struct ixgbe_adapter *adapter,
676 : : struct rte_eth_ntuple_filter *filter,
677 : : bool add);
678 : : int ixgbe_add_del_ethertype_filter(struct ixgbe_adapter *adapter,
679 : : struct rte_eth_ethertype_filter *filter,
680 : : bool add);
681 : : int ixgbe_syn_filter_set(struct ixgbe_adapter *adapter,
682 : : struct rte_eth_syn_filter *filter,
683 : : bool add);
684 : :
685 : : /**
686 : : * l2 tunnel configuration.
687 : : */
688 : : struct ixgbe_l2_tunnel_conf {
689 : : enum rte_eth_tunnel_type l2_tunnel_type;
690 : : uint16_t ether_type; /* ether type in l2 header */
691 : : uint32_t tunnel_id; /* port tag id for e-tag */
692 : : uint16_t vf_id; /* VF id for tag insertion */
693 : : uint32_t pool; /* destination pool for tag based forwarding */
694 : : };
695 : :
696 : : int
697 : : ixgbe_dev_l2_tunnel_filter_add(struct ixgbe_adapter *adapter,
698 : : struct ixgbe_l2_tunnel_conf *l2_tunnel,
699 : : bool restore);
700 : : int
701 : : ixgbe_dev_l2_tunnel_filter_del(struct ixgbe_adapter *adapter,
702 : : struct ixgbe_l2_tunnel_conf *l2_tunnel);
703 : : void ixgbe_filterlist_init(struct rte_eth_dev *dev);
704 : : void ixgbe_filterlist_flush(struct rte_eth_dev *dev);
705 : : /*
706 : : * Flow director function prototypes
707 : : */
708 : : int ixgbe_fdir_configure(struct ixgbe_adapter *adapter,
709 : : const struct rte_eth_fdir_conf *fdir_conf,
710 : : const struct ixgbe_hw_fdir_mask *fdir_mask);
711 : : int ixgbe_fdir_set_input_mask(struct ixgbe_adapter *adapter,
712 : : const struct ixgbe_hw_fdir_mask *mask,
713 : : enum rte_fdir_mode mode);
714 : : int ixgbe_fdir_set_flexbytes_offset(struct ixgbe_adapter *adapter,
715 : : uint16_t offset);
716 : : int ixgbe_fdir_filter_program(struct ixgbe_adapter *adapter,
717 : : struct rte_eth_fdir_conf *fdir_conf,
718 : : struct ixgbe_fdir_rule *rule,
719 : : bool del, bool update);
720 : : void ixgbe_fdir_info_get(struct rte_eth_dev *dev,
721 : : struct rte_eth_fdir_info *fdir_info);
722 : : void ixgbe_fdir_stats_get(struct rte_eth_dev *dev,
723 : : struct rte_eth_fdir_stats *fdir_stats);
724 : :
725 : : void ixgbe_configure_dcb(struct rte_eth_dev *dev);
726 : :
727 : : int
728 : : ixgbe_dev_link_update_share(struct rte_eth_dev *dev,
729 : : int wait_to_complete, int vf);
730 : :
731 : : /*
732 : : * misc function prototypes
733 : : */
734 : : void ixgbe_vlan_hw_filter_enable(struct rte_eth_dev *dev);
735 : :
736 : : void ixgbe_vlan_hw_filter_disable(struct rte_eth_dev *dev);
737 : :
738 : : void ixgbe_vlan_hw_strip_config(struct rte_eth_dev *dev);
739 : :
740 : : int ixgbe_pf_host_init(struct rte_eth_dev *eth_dev);
741 : :
742 : : void ixgbe_pf_host_uninit(struct rte_eth_dev *eth_dev);
743 : :
744 : : void ixgbe_pf_mbx_process(struct rte_eth_dev *eth_dev);
745 : :
746 : : int ixgbe_pf_host_configure(struct rte_eth_dev *eth_dev);
747 : :
748 : : uint32_t ixgbe_convert_vm_rx_mask_to_val(uint16_t rx_mask, uint32_t orig_val);
749 : :
750 : : void ixgbe_fdir_filter_restore(struct rte_eth_dev *dev);
751 : : int ixgbe_clear_all_fdir_filter(struct rte_eth_dev *dev);
752 : :
753 : : extern const struct rte_flow_ops ixgbe_flow_ops;
754 : :
755 : : void ixgbe_clear_all_ethertype_filter(struct rte_eth_dev *dev);
756 : : void ixgbe_clear_all_ntuple_filter(struct rte_eth_dev *dev);
757 : : void ixgbe_clear_syn_filter(struct rte_eth_dev *dev);
758 : : int ixgbe_clear_all_l2_tn_filter(struct rte_eth_dev *dev);
759 : :
760 : : int ixgbe_disable_sec_tx_path_generic(struct ixgbe_hw *hw);
761 : :
762 : : int ixgbe_enable_sec_tx_path_generic(struct ixgbe_hw *hw);
763 : :
764 : : int ixgbe_vt_check(struct ixgbe_hw *hw);
765 : : int ixgbe_set_vf_rate_limit(struct rte_eth_dev *dev, uint16_t vf,
766 : : uint32_t tx_rate, uint64_t q_msk);
767 : : bool is_ixgbe_supported(struct rte_eth_dev *dev);
768 : : int ixgbe_tm_ops_get(struct rte_eth_dev *dev, void *ops);
769 : : void ixgbe_tm_conf_init(struct rte_eth_dev *dev);
770 : : void ixgbe_tm_conf_uninit(struct rte_eth_dev *dev);
771 : : int ixgbe_set_queue_rate_limit(struct rte_eth_dev *dev, uint16_t queue_idx,
772 : : uint32_t tx_rate);
773 : : int ixgbe_rss_conf_init(struct ixgbe_rte_flow_rss_conf *out,
774 : : const struct rte_flow_action_rss *in);
775 : : int ixgbe_action_rss_same(const struct rte_flow_action_rss *comp,
776 : : const struct rte_flow_action_rss *with);
777 : : int ixgbe_config_rss_filter(struct ixgbe_adapter *adapter,
778 : : struct ixgbe_rte_flow_rss_conf *conf, bool add);
779 : :
780 : : void ixgbe_dev_macsec_register_enable(struct rte_eth_dev *dev,
781 : : struct ixgbe_macsec_setting *macsec_setting);
782 : :
783 : : void ixgbe_dev_macsec_register_disable(struct rte_eth_dev *dev);
784 : :
785 : : void ixgbe_dev_macsec_setting_save(struct rte_eth_dev *dev,
786 : : struct ixgbe_macsec_setting *macsec_setting);
787 : :
788 : : void ixgbe_dev_macsec_setting_reset(struct rte_eth_dev *dev);
789 : :
790 : : static inline int
791 : : ixgbe_ethertype_filter_lookup(struct ixgbe_filter_info *filter_info,
792 : : uint16_t ethertype)
793 : : {
794 : : int i;
795 : :
796 [ # # ]: 0 : for (i = 0; i < IXGBE_MAX_ETQF_FILTERS; i++) {
797 [ # # ]: 0 : if (filter_info->ethertype_filters[i].ethertype == ethertype &&
798 [ # # ]: 0 : (filter_info->ethertype_mask & (1 << i)))
799 : : return i;
800 : : }
801 : : return -1;
802 : : }
803 : :
804 : : static inline int
805 : : ixgbe_ethertype_filter_insert(struct ixgbe_filter_info *filter_info,
806 : : struct ixgbe_ethertype_filter *ethertype_filter)
807 : : {
808 : : int i;
809 : :
810 [ # # ]: 0 : for (i = 0; i < IXGBE_MAX_ETQF_FILTERS; i++) {
811 [ # # ]: 0 : if (!(filter_info->ethertype_mask & (1 << i))) {
812 : 0 : filter_info->ethertype_mask |= 1 << i;
813 : 0 : filter_info->ethertype_filters[i].ethertype =
814 : : ethertype_filter->ethertype;
815 : 0 : filter_info->ethertype_filters[i].etqf =
816 : : ethertype_filter->etqf;
817 : 0 : filter_info->ethertype_filters[i].etqs =
818 : : ethertype_filter->etqs;
819 : 0 : filter_info->ethertype_filters[i].conf =
820 : : ethertype_filter->conf;
821 : 0 : return i;
822 : : }
823 : : }
824 : : return -1;
825 : : }
826 : :
827 : : static inline int
828 : : ixgbe_ethertype_filter_remove(struct ixgbe_filter_info *filter_info,
829 : : uint8_t idx)
830 : : {
831 [ # # ]: 0 : if (idx >= IXGBE_MAX_ETQF_FILTERS)
832 : : return -1;
833 : 0 : filter_info->ethertype_mask &= ~(1 << idx);
834 : 0 : filter_info->ethertype_filters[idx].ethertype = 0;
835 : 0 : filter_info->ethertype_filters[idx].etqf = 0;
836 : 0 : filter_info->ethertype_filters[idx].etqs = 0;
837 : : filter_info->ethertype_filters[idx].etqs = FALSE;
838 : : return idx;
839 : : }
840 : :
841 : : #endif /* _IXGBE_ETHDEV_H_ */
|
