Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright(c) 2018 Advanced Micro Devices, Inc. All rights reserved.
3 : : * Copyright(c) 2018 Synopsys, Inc. All rights reserved.
4 : : */
5 : :
6 : : #include "axgbe_rxtx.h"
7 : : #include "axgbe_ethdev.h"
8 : : #include "axgbe_common.h"
9 : : #include "axgbe_phy.h"
10 : : #include "axgbe_regs.h"
11 : : #include "rte_time.h"
12 : :
13 : : #include "eal_filesystem.h"
14 : :
15 : : #include <rte_vect.h>
16 : :
17 : : #ifdef RTE_ARCH_X86
18 : : #include <cpuid.h>
19 : : #else
20 : : #define __cpuid(n, a, b, c, d)
21 : : #endif
22 : :
23 : : static int eth_axgbe_dev_init(struct rte_eth_dev *eth_dev);
24 : : static int axgbe_dev_configure(struct rte_eth_dev *dev);
25 : : static int axgbe_dev_start(struct rte_eth_dev *dev);
26 : : static int axgbe_dev_stop(struct rte_eth_dev *dev);
27 : : static void axgbe_dev_interrupt_handler(void *param);
28 : : static int axgbe_dev_close(struct rte_eth_dev *dev);
29 : : static int axgbe_dev_reset(struct rte_eth_dev *dev);
30 : : static int axgbe_dev_promiscuous_enable(struct rte_eth_dev *dev);
31 : : static int axgbe_dev_promiscuous_disable(struct rte_eth_dev *dev);
32 : : static int axgbe_dev_allmulticast_enable(struct rte_eth_dev *dev);
33 : : static int axgbe_dev_allmulticast_disable(struct rte_eth_dev *dev);
34 : : static int axgbe_dev_mac_addr_set(struct rte_eth_dev *dev,
35 : : struct rte_ether_addr *mac_addr);
36 : : static int axgbe_dev_mac_addr_add(struct rte_eth_dev *dev,
37 : : struct rte_ether_addr *mac_addr,
38 : : uint32_t index,
39 : : uint32_t vmdq);
40 : : static void axgbe_dev_mac_addr_remove(struct rte_eth_dev *dev, uint32_t index);
41 : : static int axgbe_dev_set_mc_addr_list(struct rte_eth_dev *dev,
42 : : struct rte_ether_addr *mc_addr_set,
43 : : uint32_t nb_mc_addr);
44 : : static int axgbe_dev_uc_hash_table_set(struct rte_eth_dev *dev,
45 : : struct rte_ether_addr *mac_addr,
46 : : uint8_t add);
47 : : static int axgbe_dev_uc_all_hash_table_set(struct rte_eth_dev *dev,
48 : : uint8_t add);
49 : : static int axgbe_dev_link_update(struct rte_eth_dev *dev,
50 : : int wait_to_complete);
51 : : static int axgbe_dev_get_regs(struct rte_eth_dev *dev,
52 : : struct rte_dev_reg_info *regs);
53 : : static int axgbe_dev_stats_get(struct rte_eth_dev *dev,
54 : : struct rte_eth_stats *stats);
55 : : static int axgbe_dev_stats_reset(struct rte_eth_dev *dev);
56 : : static int axgbe_dev_xstats_get(struct rte_eth_dev *dev,
57 : : struct rte_eth_xstat *stats,
58 : : unsigned int n);
59 : : static int
60 : : axgbe_dev_xstats_get_names(struct rte_eth_dev *dev,
61 : : struct rte_eth_xstat_name *xstats_names,
62 : : unsigned int size);
63 : : static int
64 : : axgbe_dev_xstats_get_by_id(struct rte_eth_dev *dev,
65 : : const uint64_t *ids,
66 : : uint64_t *values,
67 : : unsigned int n);
68 : : static int
69 : : axgbe_dev_xstats_get_names_by_id(struct rte_eth_dev *dev,
70 : : const uint64_t *ids,
71 : : struct rte_eth_xstat_name *xstats_names,
72 : : unsigned int size);
73 : : static int axgbe_dev_xstats_reset(struct rte_eth_dev *dev);
74 : : static int axgbe_dev_rss_reta_update(struct rte_eth_dev *dev,
75 : : struct rte_eth_rss_reta_entry64 *reta_conf,
76 : : uint16_t reta_size);
77 : : static int axgbe_dev_rss_reta_query(struct rte_eth_dev *dev,
78 : : struct rte_eth_rss_reta_entry64 *reta_conf,
79 : : uint16_t reta_size);
80 : : static int axgbe_dev_rss_hash_update(struct rte_eth_dev *dev,
81 : : struct rte_eth_rss_conf *rss_conf);
82 : : static int axgbe_dev_rss_hash_conf_get(struct rte_eth_dev *dev,
83 : : struct rte_eth_rss_conf *rss_conf);
84 : : static int axgbe_dev_info_get(struct rte_eth_dev *dev,
85 : : struct rte_eth_dev_info *dev_info);
86 : : static int axgbe_flow_ctrl_get(struct rte_eth_dev *dev,
87 : : struct rte_eth_fc_conf *fc_conf);
88 : : static int axgbe_flow_ctrl_set(struct rte_eth_dev *dev,
89 : : struct rte_eth_fc_conf *fc_conf);
90 : : static int axgbe_priority_flow_ctrl_set(struct rte_eth_dev *dev,
91 : : struct rte_eth_pfc_conf *pfc_conf);
92 : : static void axgbe_rxq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
93 : : struct rte_eth_rxq_info *qinfo);
94 : : static void axgbe_txq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
95 : : struct rte_eth_txq_info *qinfo);
96 : : const uint32_t *axgbe_dev_supported_ptypes_get(struct rte_eth_dev *dev,
97 : : size_t *no_of_elements);
98 : : static int axgb_mtu_set(struct rte_eth_dev *dev, uint16_t mtu);
99 : :
100 : : static int
101 : : axgbe_timesync_enable(struct rte_eth_dev *dev);
102 : : static int
103 : : axgbe_timesync_disable(struct rte_eth_dev *dev);
104 : : static int
105 : : axgbe_timesync_read_rx_timestamp(struct rte_eth_dev *dev,
106 : : struct timespec *timestamp, uint32_t flags);
107 : : static int
108 : : axgbe_timesync_read_tx_timestamp(struct rte_eth_dev *dev,
109 : : struct timespec *timestamp);
110 : : static int
111 : : axgbe_timesync_adjust_time(struct rte_eth_dev *dev, int64_t delta);
112 : : static int
113 : : axgbe_timesync_read_time(struct rte_eth_dev *dev,
114 : : struct timespec *timestamp);
115 : : static int
116 : : axgbe_timesync_write_time(struct rte_eth_dev *dev,
117 : : const struct timespec *timestamp);
118 : : static void
119 : : axgbe_set_tstamp_time(struct axgbe_port *pdata, unsigned int sec,
120 : : unsigned int nsec);
121 : : static void
122 : : axgbe_update_tstamp_addend(struct axgbe_port *pdata,
123 : : unsigned int addend);
124 : : static int
125 : : axgbe_vlan_filter_set(struct rte_eth_dev *dev, uint16_t vid, int on);
126 : : static int axgbe_vlan_tpid_set(struct rte_eth_dev *dev,
127 : : enum rte_vlan_type vlan_type, uint16_t tpid);
128 : : static int axgbe_vlan_offload_set(struct rte_eth_dev *dev, int mask);
129 : :
130 : : struct axgbe_xstats {
131 : : char name[RTE_ETH_XSTATS_NAME_SIZE];
132 : : int offset;
133 : : };
134 : :
135 : : #define AXGMAC_MMC_STAT(_string, _var) \
136 : : { _string, \
137 : : offsetof(struct axgbe_mmc_stats, _var), \
138 : : }
139 : :
140 : : static const struct axgbe_xstats axgbe_xstats_strings[] = {
141 : : AXGMAC_MMC_STAT("tx_bytes", txoctetcount_gb),
142 : : AXGMAC_MMC_STAT("tx_packets", txframecount_gb),
143 : : AXGMAC_MMC_STAT("tx_unicast_packets", txunicastframes_gb),
144 : : AXGMAC_MMC_STAT("tx_broadcast_packets", txbroadcastframes_gb),
145 : : AXGMAC_MMC_STAT("tx_multicast_packets", txmulticastframes_gb),
146 : : AXGMAC_MMC_STAT("tx_vlan_packets", txvlanframes_g),
147 : : AXGMAC_MMC_STAT("tx_64_byte_packets", tx64octets_gb),
148 : : AXGMAC_MMC_STAT("tx_65_to_127_byte_packets", tx65to127octets_gb),
149 : : AXGMAC_MMC_STAT("tx_128_to_255_byte_packets", tx128to255octets_gb),
150 : : AXGMAC_MMC_STAT("tx_256_to_511_byte_packets", tx256to511octets_gb),
151 : : AXGMAC_MMC_STAT("tx_512_to_1023_byte_packets", tx512to1023octets_gb),
152 : : AXGMAC_MMC_STAT("tx_1024_to_max_byte_packets", tx1024tomaxoctets_gb),
153 : : AXGMAC_MMC_STAT("tx_underflow_errors", txunderflowerror),
154 : : AXGMAC_MMC_STAT("tx_pause_frames", txpauseframes),
155 : :
156 : : AXGMAC_MMC_STAT("rx_bytes", rxoctetcount_gb),
157 : : AXGMAC_MMC_STAT("rx_packets", rxframecount_gb),
158 : : AXGMAC_MMC_STAT("rx_unicast_packets", rxunicastframes_g),
159 : : AXGMAC_MMC_STAT("rx_broadcast_packets", rxbroadcastframes_g),
160 : : AXGMAC_MMC_STAT("rx_multicast_packets", rxmulticastframes_g),
161 : : AXGMAC_MMC_STAT("rx_vlan_packets", rxvlanframes_gb),
162 : : AXGMAC_MMC_STAT("rx_64_byte_packets", rx64octets_gb),
163 : : AXGMAC_MMC_STAT("rx_65_to_127_byte_packets", rx65to127octets_gb),
164 : : AXGMAC_MMC_STAT("rx_128_to_255_byte_packets", rx128to255octets_gb),
165 : : AXGMAC_MMC_STAT("rx_256_to_511_byte_packets", rx256to511octets_gb),
166 : : AXGMAC_MMC_STAT("rx_512_to_1023_byte_packets", rx512to1023octets_gb),
167 : : AXGMAC_MMC_STAT("rx_1024_to_max_byte_packets", rx1024tomaxoctets_gb),
168 : : AXGMAC_MMC_STAT("rx_undersize_packets", rxundersize_g),
169 : : AXGMAC_MMC_STAT("rx_oversize_packets", rxoversize_g),
170 : : AXGMAC_MMC_STAT("rx_crc_errors", rxcrcerror),
171 : : AXGMAC_MMC_STAT("rx_crc_errors_small_packets", rxrunterror),
172 : : AXGMAC_MMC_STAT("rx_crc_errors_giant_packets", rxjabbererror),
173 : : AXGMAC_MMC_STAT("rx_length_errors", rxlengtherror),
174 : : AXGMAC_MMC_STAT("rx_out_of_range_errors", rxoutofrangetype),
175 : : AXGMAC_MMC_STAT("rx_fifo_overflow_errors", rxfifooverflow),
176 : : AXGMAC_MMC_STAT("rx_watchdog_errors", rxwatchdogerror),
177 : : AXGMAC_MMC_STAT("rx_pause_frames", rxpauseframes),
178 : : };
179 : :
180 : : #define AXGBE_XSTATS_COUNT ARRAY_SIZE(axgbe_xstats_strings)
181 : :
182 : : /* The set of PCI devices this driver supports */
183 : : #define AMD_PCI_VENDOR_ID 0x1022
184 : :
185 : : #define Fam17h 0x17
186 : : #define Fam19h 0x19
187 : :
188 : : #define CPUID_VENDOR_AuthenticAMD_ebx 0x68747541
189 : : #define CPUID_VENDOR_AuthenticAMD_ecx 0x444d4163
190 : : #define CPUID_VENDOR_AuthenticAMD_edx 0x69746e65
191 : :
192 : : #define AMD_PCI_AXGBE_DEVICE_V2A 0x1458
193 : : #define AMD_PCI_AXGBE_DEVICE_V2B 0x1459
194 : :
195 : : static const struct rte_pci_id pci_id_axgbe_map[] = {
196 : : {RTE_PCI_DEVICE(AMD_PCI_VENDOR_ID, AMD_PCI_AXGBE_DEVICE_V2A)},
197 : : {RTE_PCI_DEVICE(AMD_PCI_VENDOR_ID, AMD_PCI_AXGBE_DEVICE_V2B)},
198 : : { .vendor_id = 0, },
199 : : };
200 : :
201 : : static struct axgbe_version_data axgbe_v2a = {
202 : : .init_function_ptrs_phy_impl = axgbe_init_function_ptrs_phy_v2,
203 : : .xpcs_access = AXGBE_XPCS_ACCESS_V2,
204 : : .mmc_64bit = 1,
205 : : .tx_max_fifo_size = 229376,
206 : : .rx_max_fifo_size = 229376,
207 : : .tx_tstamp_workaround = 1,
208 : : .ecc_support = 1,
209 : : .i2c_support = 1,
210 : : .an_cdr_workaround = 1,
211 : : };
212 : :
213 : : static struct axgbe_version_data axgbe_v2b = {
214 : : .init_function_ptrs_phy_impl = axgbe_init_function_ptrs_phy_v2,
215 : : .xpcs_access = AXGBE_XPCS_ACCESS_V2,
216 : : .mmc_64bit = 1,
217 : : .tx_max_fifo_size = 65536,
218 : : .rx_max_fifo_size = 65536,
219 : : .tx_tstamp_workaround = 1,
220 : : .ecc_support = 1,
221 : : .i2c_support = 1,
222 : : .an_cdr_workaround = 1,
223 : : };
224 : :
225 : : static const struct rte_eth_desc_lim rx_desc_lim = {
226 : : .nb_max = AXGBE_MAX_RING_DESC,
227 : : .nb_min = AXGBE_MIN_RING_DESC,
228 : : .nb_align = 8,
229 : : };
230 : :
231 : : static const struct rte_eth_desc_lim tx_desc_lim = {
232 : : .nb_max = AXGBE_MAX_RING_DESC,
233 : : .nb_min = AXGBE_MIN_RING_DESC,
234 : : .nb_align = 8,
235 : : };
236 : :
237 : : static const struct eth_dev_ops axgbe_eth_dev_ops = {
238 : : .dev_configure = axgbe_dev_configure,
239 : : .dev_start = axgbe_dev_start,
240 : : .dev_stop = axgbe_dev_stop,
241 : : .dev_close = axgbe_dev_close,
242 : : .dev_reset = axgbe_dev_reset,
243 : : .promiscuous_enable = axgbe_dev_promiscuous_enable,
244 : : .promiscuous_disable = axgbe_dev_promiscuous_disable,
245 : : .allmulticast_enable = axgbe_dev_allmulticast_enable,
246 : : .allmulticast_disable = axgbe_dev_allmulticast_disable,
247 : : .mac_addr_set = axgbe_dev_mac_addr_set,
248 : : .mac_addr_add = axgbe_dev_mac_addr_add,
249 : : .mac_addr_remove = axgbe_dev_mac_addr_remove,
250 : : .set_mc_addr_list = axgbe_dev_set_mc_addr_list,
251 : : .uc_hash_table_set = axgbe_dev_uc_hash_table_set,
252 : : .uc_all_hash_table_set = axgbe_dev_uc_all_hash_table_set,
253 : : .link_update = axgbe_dev_link_update,
254 : : .get_reg = axgbe_dev_get_regs,
255 : : .stats_get = axgbe_dev_stats_get,
256 : : .stats_reset = axgbe_dev_stats_reset,
257 : : .xstats_get = axgbe_dev_xstats_get,
258 : : .xstats_reset = axgbe_dev_xstats_reset,
259 : : .xstats_get_names = axgbe_dev_xstats_get_names,
260 : : .xstats_get_names_by_id = axgbe_dev_xstats_get_names_by_id,
261 : : .xstats_get_by_id = axgbe_dev_xstats_get_by_id,
262 : : .reta_update = axgbe_dev_rss_reta_update,
263 : : .reta_query = axgbe_dev_rss_reta_query,
264 : : .rss_hash_update = axgbe_dev_rss_hash_update,
265 : : .rss_hash_conf_get = axgbe_dev_rss_hash_conf_get,
266 : : .dev_infos_get = axgbe_dev_info_get,
267 : : .rx_queue_setup = axgbe_dev_rx_queue_setup,
268 : : .rx_queue_release = axgbe_dev_rx_queue_release,
269 : : .tx_queue_setup = axgbe_dev_tx_queue_setup,
270 : : .tx_queue_release = axgbe_dev_tx_queue_release,
271 : : .flow_ctrl_get = axgbe_flow_ctrl_get,
272 : : .flow_ctrl_set = axgbe_flow_ctrl_set,
273 : : .priority_flow_ctrl_set = axgbe_priority_flow_ctrl_set,
274 : : .rxq_info_get = axgbe_rxq_info_get,
275 : : .txq_info_get = axgbe_txq_info_get,
276 : : .dev_supported_ptypes_get = axgbe_dev_supported_ptypes_get,
277 : : .mtu_set = axgb_mtu_set,
278 : : .vlan_filter_set = axgbe_vlan_filter_set,
279 : : .vlan_tpid_set = axgbe_vlan_tpid_set,
280 : : .vlan_offload_set = axgbe_vlan_offload_set,
281 : : .timesync_enable = axgbe_timesync_enable,
282 : : .timesync_disable = axgbe_timesync_disable,
283 : : .timesync_read_rx_timestamp = axgbe_timesync_read_rx_timestamp,
284 : : .timesync_read_tx_timestamp = axgbe_timesync_read_tx_timestamp,
285 : : .timesync_adjust_time = axgbe_timesync_adjust_time,
286 : : .timesync_read_time = axgbe_timesync_read_time,
287 : : .timesync_write_time = axgbe_timesync_write_time,
288 : : .fw_version_get = axgbe_dev_fw_version_get,
289 : : };
290 : :
291 : : static int axgbe_phy_reset(struct axgbe_port *pdata)
292 : : {
293 : 0 : pdata->phy_link = -1;
294 : 0 : pdata->phy_speed = SPEED_UNKNOWN;
295 : 0 : return pdata->phy_if.phy_reset(pdata);
296 : : }
297 : :
298 : : /*
299 : : * Interrupt handler triggered by NIC for handling
300 : : * specific interrupt.
301 : : *
302 : : * @param handle
303 : : * Pointer to interrupt handle.
304 : : * @param param
305 : : * The address of parameter (struct rte_eth_dev *) registered before.
306 : : *
307 : : * @return
308 : : * void
309 : : */
310 : : static void
311 : 0 : axgbe_dev_interrupt_handler(void *param)
312 : : {
313 : : struct rte_eth_dev *dev = (struct rte_eth_dev *)param;
314 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
315 : : unsigned int dma_isr, dma_ch_isr;
316 : :
317 : 0 : pdata->phy_if.an_isr(pdata);
318 : : /*DMA related interrupts*/
319 : 0 : dma_isr = AXGMAC_IOREAD(pdata, DMA_ISR);
320 : 0 : PMD_DRV_LOG(DEBUG, "DMA_ISR=%#010x\n", dma_isr);
321 [ # # ]: 0 : if (dma_isr) {
322 [ # # ]: 0 : if (dma_isr & 1) {
323 : : dma_ch_isr =
324 : 0 : AXGMAC_DMA_IOREAD((struct axgbe_rx_queue *)
325 : : pdata->rx_queues[0],
326 : : DMA_CH_SR);
327 : 0 : PMD_DRV_LOG(DEBUG, "DMA_CH0_ISR=%#010x\n", dma_ch_isr);
328 : 0 : AXGMAC_DMA_IOWRITE((struct axgbe_rx_queue *)
329 : : pdata->rx_queues[0],
330 : : DMA_CH_SR, dma_ch_isr);
331 : : }
332 : : }
333 : : /* Unmask interrupts since disabled after generation */
334 : 0 : rte_intr_ack(pdata->pci_dev->intr_handle);
335 : 0 : }
336 : :
337 : : /*
338 : : * Configure device link speed and setup link.
339 : : * It returns 0 on success.
340 : : */
341 : : static int
342 : 0 : axgbe_dev_configure(struct rte_eth_dev *dev)
343 : : {
344 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
345 : : /* Checksum offload to hardware */
346 : 0 : pdata->rx_csum_enable = dev->data->dev_conf.rxmode.offloads &
347 : : RTE_ETH_RX_OFFLOAD_CHECKSUM;
348 : 0 : return 0;
349 : : }
350 : :
351 : : static int
352 : : axgbe_dev_rx_mq_config(struct rte_eth_dev *dev)
353 : : {
354 : : struct axgbe_port *pdata = dev->data->dev_private;
355 : :
356 : 0 : if (dev->data->dev_conf.rxmode.mq_mode == RTE_ETH_MQ_RX_RSS)
357 : 0 : pdata->rss_enable = 1;
358 [ # # ]: 0 : else if (dev->data->dev_conf.rxmode.mq_mode == RTE_ETH_MQ_RX_NONE)
359 : 0 : pdata->rss_enable = 0;
360 : : else
361 : : return -1;
362 : : return 0;
363 : : }
364 : :
365 : : static int
366 : 0 : axgbe_dev_start(struct rte_eth_dev *dev)
367 : : {
368 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
369 : : uint16_t i;
370 : : int ret;
371 : :
372 [ # # ]: 0 : dev->dev_ops = &axgbe_eth_dev_ops;
373 : :
374 : : PMD_INIT_FUNC_TRACE();
375 : :
376 : : /* Multiqueue RSS */
377 : : ret = axgbe_dev_rx_mq_config(dev);
378 : : if (ret) {
379 : 0 : PMD_DRV_LOG(ERR, "Unable to config RX MQ\n");
380 : 0 : return ret;
381 : : }
382 : : ret = axgbe_phy_reset(pdata);
383 [ # # ]: 0 : if (ret) {
384 : 0 : PMD_DRV_LOG(ERR, "phy reset failed\n");
385 : 0 : return ret;
386 : : }
387 : 0 : ret = pdata->hw_if.init(pdata);
388 [ # # ]: 0 : if (ret) {
389 : 0 : PMD_DRV_LOG(ERR, "dev_init failed\n");
390 : 0 : return ret;
391 : : }
392 : :
393 : : /* enable uio/vfio intr/eventfd mapping */
394 : 0 : rte_intr_enable(pdata->pci_dev->intr_handle);
395 : :
396 : : /* phy start*/
397 : 0 : pdata->phy_if.phy_start(pdata);
398 : 0 : axgbe_dev_enable_tx(dev);
399 : 0 : axgbe_dev_enable_rx(dev);
400 : :
401 : : rte_bit_relaxed_clear32(AXGBE_STOPPED, &pdata->dev_state);
402 : : rte_bit_relaxed_clear32(AXGBE_DOWN, &pdata->dev_state);
403 : :
404 : 0 : axgbe_set_rx_function(dev);
405 : 0 : axgbe_set_tx_function(dev);
406 : :
407 [ # # ]: 0 : for (i = 0; i < dev->data->nb_rx_queues; i++)
408 : 0 : dev->data->rx_queue_state[i] = RTE_ETH_QUEUE_STATE_STARTED;
409 [ # # ]: 0 : for (i = 0; i < dev->data->nb_tx_queues; i++)
410 : 0 : dev->data->tx_queue_state[i] = RTE_ETH_QUEUE_STATE_STARTED;
411 : :
412 : : return 0;
413 : : }
414 : :
415 : : /* Stop device: disable rx and tx functions to allow for reconfiguring. */
416 : : static int
417 : 0 : axgbe_dev_stop(struct rte_eth_dev *dev)
418 : : {
419 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
420 : :
421 : : PMD_INIT_FUNC_TRACE();
422 : :
423 : 0 : rte_intr_disable(pdata->pci_dev->intr_handle);
424 : :
425 [ # # ]: 0 : if (rte_bit_relaxed_get32(AXGBE_STOPPED, &pdata->dev_state))
426 : : return 0;
427 : :
428 : : rte_bit_relaxed_set32(AXGBE_STOPPED, &pdata->dev_state);
429 : 0 : axgbe_dev_disable_tx(dev);
430 : 0 : axgbe_dev_disable_rx(dev);
431 : :
432 : 0 : pdata->phy_if.phy_stop(pdata);
433 : 0 : pdata->hw_if.exit(pdata);
434 : 0 : memset(&dev->data->dev_link, 0, sizeof(struct rte_eth_link));
435 : : rte_bit_relaxed_set32(AXGBE_DOWN, &pdata->dev_state);
436 : :
437 : 0 : return 0;
438 : : }
439 : :
440 : : static int
441 : 0 : axgbe_dev_promiscuous_enable(struct rte_eth_dev *dev)
442 : : {
443 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
444 : :
445 : : PMD_INIT_FUNC_TRACE();
446 : :
447 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, PR, 1);
448 : :
449 : 0 : return 0;
450 : : }
451 : :
452 : : static int
453 : 0 : axgbe_dev_promiscuous_disable(struct rte_eth_dev *dev)
454 : : {
455 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
456 : :
457 : : PMD_INIT_FUNC_TRACE();
458 : :
459 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, PR, 0);
460 : :
461 : 0 : return 0;
462 : : }
463 : :
464 : : static int
465 : 0 : axgbe_dev_allmulticast_enable(struct rte_eth_dev *dev)
466 : : {
467 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
468 : :
469 : : PMD_INIT_FUNC_TRACE();
470 : :
471 [ # # ]: 0 : if (AXGMAC_IOREAD_BITS(pdata, MAC_PFR, PM))
472 : : return 0;
473 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, PM, 1);
474 : :
475 : 0 : return 0;
476 : : }
477 : :
478 : : static int
479 : 0 : axgbe_dev_allmulticast_disable(struct rte_eth_dev *dev)
480 : : {
481 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
482 : :
483 : : PMD_INIT_FUNC_TRACE();
484 : :
485 [ # # ]: 0 : if (!AXGMAC_IOREAD_BITS(pdata, MAC_PFR, PM))
486 : : return 0;
487 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, PM, 0);
488 : :
489 : 0 : return 0;
490 : : }
491 : :
492 : : static int
493 : 0 : axgbe_dev_mac_addr_set(struct rte_eth_dev *dev, struct rte_ether_addr *mac_addr)
494 : : {
495 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
496 : :
497 : : /* Set Default MAC Addr */
498 : 0 : axgbe_set_mac_addn_addr(pdata, (u8 *)mac_addr, 0);
499 : :
500 : 0 : return 0;
501 : : }
502 : :
503 : : static int
504 : 0 : axgbe_dev_mac_addr_add(struct rte_eth_dev *dev, struct rte_ether_addr *mac_addr,
505 : : uint32_t index, uint32_t pool __rte_unused)
506 : : {
507 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
508 : : struct axgbe_hw_features *hw_feat = &pdata->hw_feat;
509 : :
510 [ # # ]: 0 : if (index > hw_feat->addn_mac) {
511 : 0 : PMD_DRV_LOG(ERR, "Invalid Index %d\n", index);
512 : 0 : return -EINVAL;
513 : : }
514 : 0 : axgbe_set_mac_addn_addr(pdata, (u8 *)mac_addr, index);
515 : 0 : return 0;
516 : : }
517 : :
518 : : static int
519 : 0 : axgbe_dev_rss_reta_update(struct rte_eth_dev *dev,
520 : : struct rte_eth_rss_reta_entry64 *reta_conf,
521 : : uint16_t reta_size)
522 : : {
523 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
524 : : unsigned int i, idx, shift;
525 : : int ret;
526 : :
527 [ # # ]: 0 : if (!pdata->rss_enable) {
528 : 0 : PMD_DRV_LOG(ERR, "RSS not enabled\n");
529 : 0 : return -ENOTSUP;
530 : : }
531 : :
532 [ # # ]: 0 : if (reta_size == 0 || reta_size > AXGBE_RSS_MAX_TABLE_SIZE) {
533 : 0 : PMD_DRV_LOG(ERR, "reta_size %d is not supported\n", reta_size);
534 : 0 : return -EINVAL;
535 : : }
536 : :
537 [ # # ]: 0 : for (i = 0; i < reta_size; i++) {
538 : 0 : idx = i / RTE_ETH_RETA_GROUP_SIZE;
539 : 0 : shift = i % RTE_ETH_RETA_GROUP_SIZE;
540 [ # # ]: 0 : if ((reta_conf[idx].mask & (1ULL << shift)) == 0)
541 : 0 : continue;
542 : 0 : pdata->rss_table[i] = reta_conf[idx].reta[shift];
543 : : }
544 : :
545 : : /* Program the lookup table */
546 : 0 : ret = axgbe_write_rss_lookup_table(pdata);
547 : 0 : return ret;
548 : : }
549 : :
550 : : static int
551 : 0 : axgbe_dev_rss_reta_query(struct rte_eth_dev *dev,
552 : : struct rte_eth_rss_reta_entry64 *reta_conf,
553 : : uint16_t reta_size)
554 : : {
555 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
556 : : unsigned int i, idx, shift;
557 : :
558 [ # # ]: 0 : if (!pdata->rss_enable) {
559 : 0 : PMD_DRV_LOG(ERR, "RSS not enabled\n");
560 : 0 : return -ENOTSUP;
561 : : }
562 : :
563 [ # # ]: 0 : if (reta_size == 0 || reta_size > AXGBE_RSS_MAX_TABLE_SIZE) {
564 : 0 : PMD_DRV_LOG(ERR, "reta_size %d is not supported\n", reta_size);
565 : 0 : return -EINVAL;
566 : : }
567 : :
568 [ # # ]: 0 : for (i = 0; i < reta_size; i++) {
569 : 0 : idx = i / RTE_ETH_RETA_GROUP_SIZE;
570 : 0 : shift = i % RTE_ETH_RETA_GROUP_SIZE;
571 [ # # ]: 0 : if ((reta_conf[idx].mask & (1ULL << shift)) == 0)
572 : 0 : continue;
573 : 0 : reta_conf[idx].reta[shift] = pdata->rss_table[i];
574 : : }
575 : : return 0;
576 : : }
577 : :
578 : : static int
579 : 0 : axgbe_dev_rss_hash_update(struct rte_eth_dev *dev,
580 : : struct rte_eth_rss_conf *rss_conf)
581 : : {
582 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
583 : : int ret;
584 : :
585 [ # # ]: 0 : if (!pdata->rss_enable) {
586 : 0 : PMD_DRV_LOG(ERR, "RSS not enabled\n");
587 : 0 : return -ENOTSUP;
588 : : }
589 : :
590 [ # # ]: 0 : if (rss_conf == NULL) {
591 : 0 : PMD_DRV_LOG(ERR, "rss_conf value isn't valid\n");
592 : 0 : return -EINVAL;
593 : : }
594 : :
595 [ # # ]: 0 : if (rss_conf->rss_key != NULL &&
596 [ # # ]: 0 : rss_conf->rss_key_len == AXGBE_RSS_HASH_KEY_SIZE) {
597 [ # # ]: 0 : rte_memcpy(pdata->rss_key, rss_conf->rss_key,
598 : : AXGBE_RSS_HASH_KEY_SIZE);
599 : : /* Program the hash key */
600 : 0 : ret = axgbe_write_rss_hash_key(pdata);
601 [ # # ]: 0 : if (ret != 0)
602 : : return ret;
603 : : }
604 : :
605 : 0 : pdata->rss_hf = rss_conf->rss_hf & AXGBE_RSS_OFFLOAD;
606 : :
607 [ # # ]: 0 : if (pdata->rss_hf & (RTE_ETH_RSS_IPV4 | RTE_ETH_RSS_IPV6))
608 : 0 : AXGMAC_SET_BITS(pdata->rss_options, MAC_RSSCR, IP2TE, 1);
609 [ # # ]: 0 : if (pdata->rss_hf &
610 : : (RTE_ETH_RSS_NONFRAG_IPV4_TCP | RTE_ETH_RSS_NONFRAG_IPV6_TCP))
611 : 0 : AXGMAC_SET_BITS(pdata->rss_options, MAC_RSSCR, TCP4TE, 1);
612 [ # # ]: 0 : if (pdata->rss_hf &
613 : : (RTE_ETH_RSS_NONFRAG_IPV4_UDP | RTE_ETH_RSS_NONFRAG_IPV6_UDP))
614 : 0 : AXGMAC_SET_BITS(pdata->rss_options, MAC_RSSCR, UDP4TE, 1);
615 : :
616 : : /* Set the RSS options */
617 : 0 : AXGMAC_IOWRITE(pdata, MAC_RSSCR, pdata->rss_options);
618 : :
619 : 0 : return 0;
620 : : }
621 : :
622 : : static int
623 : 0 : axgbe_dev_rss_hash_conf_get(struct rte_eth_dev *dev,
624 : : struct rte_eth_rss_conf *rss_conf)
625 : : {
626 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
627 : :
628 [ # # ]: 0 : if (!pdata->rss_enable) {
629 : 0 : PMD_DRV_LOG(ERR, "RSS not enabled\n");
630 : 0 : return -ENOTSUP;
631 : : }
632 : :
633 [ # # ]: 0 : if (rss_conf == NULL) {
634 : 0 : PMD_DRV_LOG(ERR, "rss_conf value isn't valid\n");
635 : 0 : return -EINVAL;
636 : : }
637 : :
638 [ # # ]: 0 : if (rss_conf->rss_key != NULL &&
639 [ # # ]: 0 : rss_conf->rss_key_len >= AXGBE_RSS_HASH_KEY_SIZE) {
640 [ # # ]: 0 : rte_memcpy(rss_conf->rss_key, pdata->rss_key,
641 : : AXGBE_RSS_HASH_KEY_SIZE);
642 : : }
643 : 0 : rss_conf->rss_key_len = AXGBE_RSS_HASH_KEY_SIZE;
644 : 0 : rss_conf->rss_hf = pdata->rss_hf;
645 : 0 : return 0;
646 : : }
647 : :
648 : : static int
649 : 0 : axgbe_dev_reset(struct rte_eth_dev *dev)
650 : : {
651 : : int ret = 0;
652 : :
653 : 0 : ret = axgbe_dev_close(dev);
654 [ # # ]: 0 : if (ret)
655 : : return ret;
656 : :
657 : 0 : ret = eth_axgbe_dev_init(dev);
658 : :
659 : 0 : return ret;
660 : : }
661 : :
662 : : static void
663 : 0 : axgbe_dev_mac_addr_remove(struct rte_eth_dev *dev, uint32_t index)
664 : : {
665 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
666 : : struct axgbe_hw_features *hw_feat = &pdata->hw_feat;
667 : :
668 [ # # ]: 0 : if (index > hw_feat->addn_mac) {
669 : 0 : PMD_DRV_LOG(ERR, "Invalid Index %d\n", index);
670 : 0 : return;
671 : : }
672 : 0 : axgbe_set_mac_addn_addr(pdata, NULL, index);
673 : : }
674 : :
675 : : static int
676 : 0 : axgbe_dev_set_mc_addr_list(struct rte_eth_dev *dev,
677 : : struct rte_ether_addr *mc_addr_set,
678 : : uint32_t nb_mc_addr)
679 : : {
680 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
681 : : struct axgbe_hw_features *hw_feat = &pdata->hw_feat;
682 : : uint32_t index = 1; /* 0 is always default mac */
683 : : uint32_t i;
684 : :
685 [ # # ]: 0 : if (nb_mc_addr > hw_feat->addn_mac) {
686 : 0 : PMD_DRV_LOG(ERR, "Invalid Index %d\n", nb_mc_addr);
687 : 0 : return -EINVAL;
688 : : }
689 : :
690 : : /* clear unicast addresses */
691 [ # # ]: 0 : for (i = 1; i < hw_feat->addn_mac; i++) {
692 [ # # ]: 0 : if (rte_is_zero_ether_addr(&dev->data->mac_addrs[i]))
693 : 0 : continue;
694 : : memset(&dev->data->mac_addrs[i], 0,
695 : : sizeof(struct rte_ether_addr));
696 : : }
697 : :
698 [ # # ]: 0 : while (nb_mc_addr--)
699 : 0 : axgbe_set_mac_addn_addr(pdata, (u8 *)mc_addr_set++, index++);
700 : :
701 : : return 0;
702 : : }
703 : :
704 : : static int
705 : 0 : axgbe_dev_uc_hash_table_set(struct rte_eth_dev *dev,
706 : : struct rte_ether_addr *mac_addr, uint8_t add)
707 : : {
708 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
709 : : struct axgbe_hw_features *hw_feat = &pdata->hw_feat;
710 : :
711 [ # # ]: 0 : if (!hw_feat->hash_table_size) {
712 : 0 : PMD_DRV_LOG(ERR, "MAC Hash Table not supported\n");
713 : 0 : return -ENOTSUP;
714 : : }
715 : :
716 : 0 : axgbe_set_mac_hash_table(pdata, (u8 *)mac_addr, add);
717 : :
718 [ # # ]: 0 : if (pdata->uc_hash_mac_addr > 0) {
719 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, HPF, 1);
720 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, HUC, 1);
721 : : } else {
722 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, HPF, 0);
723 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, HUC, 0);
724 : : }
725 : : return 0;
726 : : }
727 : :
728 : : static int
729 : 0 : axgbe_dev_uc_all_hash_table_set(struct rte_eth_dev *dev, uint8_t add)
730 : : {
731 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
732 : : struct axgbe_hw_features *hw_feat = &pdata->hw_feat;
733 : : uint32_t index;
734 : :
735 [ # # ]: 0 : if (!hw_feat->hash_table_size) {
736 : 0 : PMD_DRV_LOG(ERR, "MAC Hash Table not supported\n");
737 : 0 : return -ENOTSUP;
738 : : }
739 : :
740 [ # # ]: 0 : for (index = 0; index < pdata->hash_table_count; index++) {
741 [ # # ]: 0 : if (add)
742 : 0 : pdata->uc_hash_table[index] = ~0;
743 : : else
744 : 0 : pdata->uc_hash_table[index] = 0;
745 : :
746 [ # # ]: 0 : PMD_DRV_LOG(DEBUG, "%s MAC hash table at Index %#x\n",
747 : : add ? "set" : "clear", index);
748 : :
749 : 0 : AXGMAC_IOWRITE(pdata, MAC_HTR(index),
750 : : pdata->uc_hash_table[index]);
751 : : }
752 : :
753 [ # # ]: 0 : if (add) {
754 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, HPF, 1);
755 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, HUC, 1);
756 : : } else {
757 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, HPF, 0);
758 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_PFR, HUC, 0);
759 : : }
760 : : return 0;
761 : : }
762 : :
763 : : /* return 0 means link status changed, -1 means not changed */
764 : : static int
765 : 0 : axgbe_dev_link_update(struct rte_eth_dev *dev,
766 : : int wait_to_complete __rte_unused)
767 : : {
768 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
769 : : struct rte_eth_link link;
770 : : int ret = 0;
771 : :
772 : : PMD_INIT_FUNC_TRACE();
773 : : rte_delay_ms(800);
774 : :
775 : 0 : pdata->phy_if.phy_status(pdata);
776 : :
777 : : memset(&link, 0, sizeof(struct rte_eth_link));
778 : 0 : link.link_duplex = pdata->phy.duplex;
779 : 0 : link.link_status = pdata->phy_link;
780 : 0 : link.link_speed = pdata->phy_speed;
781 [ # # ]: 0 : link.link_autoneg = !(dev->data->dev_conf.link_speeds &
782 : : RTE_ETH_LINK_SPEED_FIXED);
783 : : ret = rte_eth_linkstatus_set(dev, &link);
784 : : if (ret == -1)
785 : 0 : PMD_DRV_LOG(ERR, "No change in link status\n");
786 : :
787 : 0 : return ret;
788 : : }
789 : :
790 : : static int
791 : 0 : axgbe_dev_get_regs(struct rte_eth_dev *dev, struct rte_dev_reg_info *regs)
792 : : {
793 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
794 : :
795 [ # # ]: 0 : if (regs->data == NULL) {
796 : 0 : regs->length = axgbe_regs_get_count(pdata);
797 : 0 : regs->width = sizeof(uint32_t);
798 : 0 : return 0;
799 : : }
800 : :
801 : : /* Only full register dump is supported */
802 [ # # ]: 0 : if (regs->length &&
803 [ # # ]: 0 : regs->length != (uint32_t)axgbe_regs_get_count(pdata))
804 : : return -ENOTSUP;
805 : :
806 : 0 : regs->version = pdata->pci_dev->id.vendor_id << 16 |
807 : 0 : pdata->pci_dev->id.device_id;
808 : 0 : axgbe_regs_dump(pdata, regs->data);
809 : 0 : return 0;
810 : : }
811 : 0 : static void axgbe_read_mmc_stats(struct axgbe_port *pdata)
812 : : {
813 : : struct axgbe_mmc_stats *stats = &pdata->mmc_stats;
814 : :
815 : : /* Freeze counters */
816 : 0 : AXGMAC_IOWRITE_BITS(pdata, MMC_CR, MCF, 1);
817 : :
818 : : /* Tx counters */
819 : 0 : stats->txoctetcount_gb +=
820 : 0 : AXGMAC_IOREAD(pdata, MMC_TXOCTETCOUNT_GB_LO);
821 : 0 : stats->txoctetcount_gb +=
822 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXOCTETCOUNT_GB_HI) << 32);
823 : :
824 : 0 : stats->txframecount_gb +=
825 : 0 : AXGMAC_IOREAD(pdata, MMC_TXFRAMECOUNT_GB_LO);
826 : 0 : stats->txframecount_gb +=
827 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXFRAMECOUNT_GB_HI) << 32);
828 : :
829 : 0 : stats->txbroadcastframes_g +=
830 : 0 : AXGMAC_IOREAD(pdata, MMC_TXBROADCASTFRAMES_G_LO);
831 : 0 : stats->txbroadcastframes_g +=
832 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXBROADCASTFRAMES_G_HI) << 32);
833 : :
834 : 0 : stats->txmulticastframes_g +=
835 : 0 : AXGMAC_IOREAD(pdata, MMC_TXMULTICASTFRAMES_G_LO);
836 : 0 : stats->txmulticastframes_g +=
837 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXMULTICASTFRAMES_G_HI) << 32);
838 : :
839 : 0 : stats->tx64octets_gb +=
840 : 0 : AXGMAC_IOREAD(pdata, MMC_TX64OCTETS_GB_LO);
841 : 0 : stats->tx64octets_gb +=
842 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TX64OCTETS_GB_HI) << 32);
843 : :
844 : 0 : stats->tx65to127octets_gb +=
845 : 0 : AXGMAC_IOREAD(pdata, MMC_TX65TO127OCTETS_GB_LO);
846 : 0 : stats->tx65to127octets_gb +=
847 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TX65TO127OCTETS_GB_HI) << 32);
848 : :
849 : 0 : stats->tx128to255octets_gb +=
850 : 0 : AXGMAC_IOREAD(pdata, MMC_TX128TO255OCTETS_GB_LO);
851 : 0 : stats->tx128to255octets_gb +=
852 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TX128TO255OCTETS_GB_HI) << 32);
853 : :
854 : 0 : stats->tx256to511octets_gb +=
855 : 0 : AXGMAC_IOREAD(pdata, MMC_TX256TO511OCTETS_GB_LO);
856 : 0 : stats->tx256to511octets_gb +=
857 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TX256TO511OCTETS_GB_HI) << 32);
858 : :
859 : 0 : stats->tx512to1023octets_gb +=
860 : 0 : AXGMAC_IOREAD(pdata, MMC_TX512TO1023OCTETS_GB_LO);
861 : 0 : stats->tx512to1023octets_gb +=
862 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TX512TO1023OCTETS_GB_HI) << 32);
863 : :
864 : 0 : stats->tx1024tomaxoctets_gb +=
865 : 0 : AXGMAC_IOREAD(pdata, MMC_TX1024TOMAXOCTETS_GB_LO);
866 : 0 : stats->tx1024tomaxoctets_gb +=
867 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TX1024TOMAXOCTETS_GB_HI) << 32);
868 : :
869 : 0 : stats->txunicastframes_gb +=
870 : 0 : AXGMAC_IOREAD(pdata, MMC_TXUNICASTFRAMES_GB_LO);
871 : 0 : stats->txunicastframes_gb +=
872 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXUNICASTFRAMES_GB_HI) << 32);
873 : :
874 : 0 : stats->txmulticastframes_gb +=
875 : 0 : AXGMAC_IOREAD(pdata, MMC_TXMULTICASTFRAMES_GB_LO);
876 : 0 : stats->txmulticastframes_gb +=
877 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXMULTICASTFRAMES_GB_HI) << 32);
878 : :
879 : 0 : stats->txbroadcastframes_g +=
880 : 0 : AXGMAC_IOREAD(pdata, MMC_TXBROADCASTFRAMES_GB_LO);
881 : 0 : stats->txbroadcastframes_g +=
882 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXBROADCASTFRAMES_GB_HI) << 32);
883 : :
884 : 0 : stats->txunderflowerror +=
885 : 0 : AXGMAC_IOREAD(pdata, MMC_TXUNDERFLOWERROR_LO);
886 : 0 : stats->txunderflowerror +=
887 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXUNDERFLOWERROR_HI) << 32);
888 : :
889 : 0 : stats->txoctetcount_g +=
890 : 0 : AXGMAC_IOREAD(pdata, MMC_TXOCTETCOUNT_G_LO);
891 : 0 : stats->txoctetcount_g +=
892 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXOCTETCOUNT_G_HI) << 32);
893 : :
894 : 0 : stats->txframecount_g +=
895 : 0 : AXGMAC_IOREAD(pdata, MMC_TXFRAMECOUNT_G_LO);
896 : 0 : stats->txframecount_g +=
897 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXFRAMECOUNT_G_HI) << 32);
898 : :
899 : 0 : stats->txpauseframes +=
900 : 0 : AXGMAC_IOREAD(pdata, MMC_TXPAUSEFRAMES_LO);
901 : 0 : stats->txpauseframes +=
902 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXPAUSEFRAMES_HI) << 32);
903 : :
904 : 0 : stats->txvlanframes_g +=
905 : 0 : AXGMAC_IOREAD(pdata, MMC_TXVLANFRAMES_G_LO);
906 : 0 : stats->txvlanframes_g +=
907 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_TXVLANFRAMES_G_HI) << 32);
908 : :
909 : : /* Rx counters */
910 : 0 : stats->rxframecount_gb +=
911 : 0 : AXGMAC_IOREAD(pdata, MMC_RXFRAMECOUNT_GB_LO);
912 : 0 : stats->rxframecount_gb +=
913 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXFRAMECOUNT_GB_HI) << 32);
914 : :
915 : 0 : stats->rxoctetcount_gb +=
916 : 0 : AXGMAC_IOREAD(pdata, MMC_RXOCTETCOUNT_GB_LO);
917 : 0 : stats->rxoctetcount_gb +=
918 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXOCTETCOUNT_GB_HI) << 32);
919 : :
920 : 0 : stats->rxoctetcount_g +=
921 : 0 : AXGMAC_IOREAD(pdata, MMC_RXOCTETCOUNT_G_LO);
922 : 0 : stats->rxoctetcount_g +=
923 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXOCTETCOUNT_G_HI) << 32);
924 : :
925 : 0 : stats->rxbroadcastframes_g +=
926 : 0 : AXGMAC_IOREAD(pdata, MMC_RXBROADCASTFRAMES_G_LO);
927 : 0 : stats->rxbroadcastframes_g +=
928 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXBROADCASTFRAMES_G_HI) << 32);
929 : :
930 : 0 : stats->rxmulticastframes_g +=
931 : 0 : AXGMAC_IOREAD(pdata, MMC_RXMULTICASTFRAMES_G_LO);
932 : 0 : stats->rxmulticastframes_g +=
933 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXMULTICASTFRAMES_G_HI) << 32);
934 : :
935 : 0 : stats->rxcrcerror +=
936 : 0 : AXGMAC_IOREAD(pdata, MMC_RXCRCERROR_LO);
937 : 0 : stats->rxcrcerror +=
938 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXCRCERROR_HI) << 32);
939 : :
940 : 0 : stats->rxrunterror +=
941 : 0 : AXGMAC_IOREAD(pdata, MMC_RXRUNTERROR);
942 : :
943 : 0 : stats->rxjabbererror +=
944 : 0 : AXGMAC_IOREAD(pdata, MMC_RXJABBERERROR);
945 : :
946 : 0 : stats->rxundersize_g +=
947 : 0 : AXGMAC_IOREAD(pdata, MMC_RXUNDERSIZE_G);
948 : :
949 : 0 : stats->rxoversize_g +=
950 : 0 : AXGMAC_IOREAD(pdata, MMC_RXOVERSIZE_G);
951 : :
952 : 0 : stats->rx64octets_gb +=
953 : 0 : AXGMAC_IOREAD(pdata, MMC_RX64OCTETS_GB_LO);
954 : 0 : stats->rx64octets_gb +=
955 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RX64OCTETS_GB_HI) << 32);
956 : :
957 : 0 : stats->rx65to127octets_gb +=
958 : 0 : AXGMAC_IOREAD(pdata, MMC_RX65TO127OCTETS_GB_LO);
959 : 0 : stats->rx65to127octets_gb +=
960 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RX65TO127OCTETS_GB_HI) << 32);
961 : :
962 : 0 : stats->rx128to255octets_gb +=
963 : 0 : AXGMAC_IOREAD(pdata, MMC_RX128TO255OCTETS_GB_LO);
964 : 0 : stats->rx128to255octets_gb +=
965 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RX128TO255OCTETS_GB_HI) << 32);
966 : :
967 : 0 : stats->rx256to511octets_gb +=
968 : 0 : AXGMAC_IOREAD(pdata, MMC_RX256TO511OCTETS_GB_LO);
969 : 0 : stats->rx256to511octets_gb +=
970 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RX256TO511OCTETS_GB_HI) << 32);
971 : :
972 : 0 : stats->rx512to1023octets_gb +=
973 : 0 : AXGMAC_IOREAD(pdata, MMC_RX512TO1023OCTETS_GB_LO);
974 : 0 : stats->rx512to1023octets_gb +=
975 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RX512TO1023OCTETS_GB_HI) << 32);
976 : :
977 : 0 : stats->rx1024tomaxoctets_gb +=
978 : 0 : AXGMAC_IOREAD(pdata, MMC_RX1024TOMAXOCTETS_GB_LO);
979 : 0 : stats->rx1024tomaxoctets_gb +=
980 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RX1024TOMAXOCTETS_GB_HI) << 32);
981 : :
982 : 0 : stats->rxunicastframes_g +=
983 : 0 : AXGMAC_IOREAD(pdata, MMC_RXUNICASTFRAMES_G_LO);
984 : 0 : stats->rxunicastframes_g +=
985 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXUNICASTFRAMES_G_HI) << 32);
986 : :
987 : 0 : stats->rxlengtherror +=
988 : 0 : AXGMAC_IOREAD(pdata, MMC_RXLENGTHERROR_LO);
989 : 0 : stats->rxlengtherror +=
990 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXLENGTHERROR_HI) << 32);
991 : :
992 : 0 : stats->rxoutofrangetype +=
993 : 0 : AXGMAC_IOREAD(pdata, MMC_RXOUTOFRANGETYPE_LO);
994 : 0 : stats->rxoutofrangetype +=
995 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXOUTOFRANGETYPE_HI) << 32);
996 : :
997 : 0 : stats->rxpauseframes +=
998 : 0 : AXGMAC_IOREAD(pdata, MMC_RXPAUSEFRAMES_LO);
999 : 0 : stats->rxpauseframes +=
1000 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXPAUSEFRAMES_HI) << 32);
1001 : :
1002 : 0 : stats->rxfifooverflow +=
1003 : 0 : AXGMAC_IOREAD(pdata, MMC_RXFIFOOVERFLOW_LO);
1004 : 0 : stats->rxfifooverflow +=
1005 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXFIFOOVERFLOW_HI) << 32);
1006 : :
1007 : 0 : stats->rxvlanframes_gb +=
1008 : 0 : AXGMAC_IOREAD(pdata, MMC_RXVLANFRAMES_GB_LO);
1009 : 0 : stats->rxvlanframes_gb +=
1010 : 0 : ((uint64_t)AXGMAC_IOREAD(pdata, MMC_RXVLANFRAMES_GB_HI) << 32);
1011 : :
1012 : 0 : stats->rxwatchdogerror +=
1013 : 0 : AXGMAC_IOREAD(pdata, MMC_RXWATCHDOGERROR);
1014 : :
1015 : : /* Un-freeze counters */
1016 : 0 : AXGMAC_IOWRITE_BITS(pdata, MMC_CR, MCF, 0);
1017 : 0 : }
1018 : :
1019 : : static int
1020 : 0 : axgbe_dev_xstats_get(struct rte_eth_dev *dev, struct rte_eth_xstat *stats,
1021 : : unsigned int n)
1022 : : {
1023 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1024 : : unsigned int i;
1025 : :
1026 [ # # ]: 0 : if (n < AXGBE_XSTATS_COUNT)
1027 : : return AXGBE_XSTATS_COUNT;
1028 : :
1029 : 0 : axgbe_read_mmc_stats(pdata);
1030 : :
1031 [ # # ]: 0 : for (i = 0; i < AXGBE_XSTATS_COUNT; i++) {
1032 : 0 : stats[i].id = i;
1033 : 0 : stats[i].value = *(u64 *)((uint8_t *)&pdata->mmc_stats +
1034 : 0 : axgbe_xstats_strings[i].offset);
1035 : : }
1036 : :
1037 : : return AXGBE_XSTATS_COUNT;
1038 : : }
1039 : :
1040 : : static int
1041 : 0 : axgbe_dev_xstats_get_names(__rte_unused struct rte_eth_dev *dev,
1042 : : struct rte_eth_xstat_name *xstats_names,
1043 : : unsigned int n)
1044 : : {
1045 : : unsigned int i;
1046 : :
1047 [ # # ]: 0 : if (n >= AXGBE_XSTATS_COUNT && xstats_names) {
1048 [ # # ]: 0 : for (i = 0; i < AXGBE_XSTATS_COUNT; ++i) {
1049 : 0 : snprintf(xstats_names[i].name,
1050 : : RTE_ETH_XSTATS_NAME_SIZE, "%s",
1051 : 0 : axgbe_xstats_strings[i].name);
1052 : : }
1053 : : }
1054 : :
1055 : 0 : return AXGBE_XSTATS_COUNT;
1056 : : }
1057 : :
1058 : : static int
1059 : 0 : axgbe_dev_xstats_get_by_id(struct rte_eth_dev *dev, const uint64_t *ids,
1060 : : uint64_t *values, unsigned int n)
1061 : : {
1062 : : unsigned int i;
1063 : : uint64_t values_copy[AXGBE_XSTATS_COUNT];
1064 : :
1065 [ # # ]: 0 : if (!ids) {
1066 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1067 : :
1068 [ # # ]: 0 : if (n < AXGBE_XSTATS_COUNT)
1069 : : return AXGBE_XSTATS_COUNT;
1070 : :
1071 : 0 : axgbe_read_mmc_stats(pdata);
1072 : :
1073 [ # # ]: 0 : for (i = 0; i < AXGBE_XSTATS_COUNT; i++) {
1074 : 0 : values[i] = *(u64 *)((uint8_t *)&pdata->mmc_stats +
1075 : 0 : axgbe_xstats_strings[i].offset);
1076 : : }
1077 : :
1078 : : return i;
1079 : : }
1080 : :
1081 : 0 : axgbe_dev_xstats_get_by_id(dev, NULL, values_copy, AXGBE_XSTATS_COUNT);
1082 : :
1083 [ # # ]: 0 : for (i = 0; i < n; i++) {
1084 [ # # ]: 0 : if (ids[i] >= AXGBE_XSTATS_COUNT) {
1085 : 0 : PMD_DRV_LOG(ERR, "id value isn't valid\n");
1086 : 0 : return -1;
1087 : : }
1088 : 0 : values[i] = values_copy[ids[i]];
1089 : : }
1090 : 0 : return n;
1091 : : }
1092 : :
1093 : : static int
1094 : 0 : axgbe_dev_xstats_get_names_by_id(struct rte_eth_dev *dev,
1095 : : const uint64_t *ids,
1096 : : struct rte_eth_xstat_name *xstats_names,
1097 : : unsigned int size)
1098 : : {
1099 : : struct rte_eth_xstat_name xstats_names_copy[AXGBE_XSTATS_COUNT];
1100 : : unsigned int i;
1101 : :
1102 [ # # ]: 0 : if (!ids)
1103 : 0 : return axgbe_dev_xstats_get_names(dev, xstats_names, size);
1104 : :
1105 : 0 : axgbe_dev_xstats_get_names(dev, xstats_names_copy, size);
1106 : :
1107 [ # # ]: 0 : for (i = 0; i < size; i++) {
1108 [ # # ]: 0 : if (ids[i] >= AXGBE_XSTATS_COUNT) {
1109 : 0 : PMD_DRV_LOG(ERR, "id value isn't valid\n");
1110 : 0 : return -1;
1111 : : }
1112 : 0 : strcpy(xstats_names[i].name, xstats_names_copy[ids[i]].name);
1113 : : }
1114 : 0 : return size;
1115 : : }
1116 : :
1117 : : static int
1118 : 0 : axgbe_dev_xstats_reset(struct rte_eth_dev *dev)
1119 : : {
1120 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1121 : 0 : struct axgbe_mmc_stats *stats = &pdata->mmc_stats;
1122 : :
1123 : : /* MMC registers are configured for reset on read */
1124 : 0 : axgbe_read_mmc_stats(pdata);
1125 : :
1126 : : /* Reset stats */
1127 : : memset(stats, 0, sizeof(*stats));
1128 : :
1129 : 0 : return 0;
1130 : : }
1131 : :
1132 : : static int
1133 : 0 : axgbe_dev_stats_get(struct rte_eth_dev *dev,
1134 : : struct rte_eth_stats *stats)
1135 : : {
1136 : : struct axgbe_rx_queue *rxq;
1137 : : struct axgbe_tx_queue *txq;
1138 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1139 : : struct axgbe_mmc_stats *mmc_stats = &pdata->mmc_stats;
1140 : : unsigned int i;
1141 : :
1142 : 0 : axgbe_read_mmc_stats(pdata);
1143 : :
1144 : 0 : stats->imissed = mmc_stats->rxfifooverflow;
1145 : :
1146 [ # # ]: 0 : for (i = 0; i < dev->data->nb_rx_queues; i++) {
1147 : 0 : rxq = dev->data->rx_queues[i];
1148 [ # # ]: 0 : if (rxq) {
1149 : 0 : stats->q_ipackets[i] = rxq->pkts;
1150 : 0 : stats->ipackets += rxq->pkts;
1151 : 0 : stats->q_ibytes[i] = rxq->bytes;
1152 : 0 : stats->ibytes += rxq->bytes;
1153 : 0 : stats->rx_nombuf += rxq->rx_mbuf_alloc_failed;
1154 : 0 : stats->q_errors[i] = rxq->errors
1155 : 0 : + rxq->rx_mbuf_alloc_failed;
1156 : 0 : stats->ierrors += rxq->errors;
1157 : : } else {
1158 : 0 : PMD_DRV_LOG(DEBUG, "Rx queue not setup for port %d\n",
1159 : : dev->data->port_id);
1160 : : }
1161 : : }
1162 : :
1163 [ # # ]: 0 : for (i = 0; i < dev->data->nb_tx_queues; i++) {
1164 : 0 : txq = dev->data->tx_queues[i];
1165 [ # # ]: 0 : if (txq) {
1166 : 0 : stats->q_opackets[i] = txq->pkts;
1167 : 0 : stats->opackets += txq->pkts;
1168 : 0 : stats->q_obytes[i] = txq->bytes;
1169 : 0 : stats->obytes += txq->bytes;
1170 : 0 : stats->oerrors += txq->errors;
1171 : : } else {
1172 : 0 : PMD_DRV_LOG(DEBUG, "Tx queue not setup for port %d\n",
1173 : : dev->data->port_id);
1174 : : }
1175 : : }
1176 : :
1177 : 0 : return 0;
1178 : : }
1179 : :
1180 : : static int
1181 : 0 : axgbe_dev_stats_reset(struct rte_eth_dev *dev)
1182 : : {
1183 : : struct axgbe_rx_queue *rxq;
1184 : : struct axgbe_tx_queue *txq;
1185 : : unsigned int i;
1186 : :
1187 [ # # ]: 0 : for (i = 0; i < dev->data->nb_rx_queues; i++) {
1188 : 0 : rxq = dev->data->rx_queues[i];
1189 [ # # ]: 0 : if (rxq) {
1190 : 0 : rxq->pkts = 0;
1191 : 0 : rxq->bytes = 0;
1192 : 0 : rxq->errors = 0;
1193 : 0 : rxq->rx_mbuf_alloc_failed = 0;
1194 : : } else {
1195 : 0 : PMD_DRV_LOG(DEBUG, "Rx queue not setup for port %d\n",
1196 : : dev->data->port_id);
1197 : : }
1198 : : }
1199 [ # # ]: 0 : for (i = 0; i < dev->data->nb_tx_queues; i++) {
1200 : 0 : txq = dev->data->tx_queues[i];
1201 [ # # ]: 0 : if (txq) {
1202 : 0 : txq->pkts = 0;
1203 : 0 : txq->bytes = 0;
1204 : 0 : txq->errors = 0;
1205 : : } else {
1206 : 0 : PMD_DRV_LOG(DEBUG, "Tx queue not setup for port %d\n",
1207 : : dev->data->port_id);
1208 : : }
1209 : : }
1210 : :
1211 : 0 : return 0;
1212 : : }
1213 : :
1214 : : static int
1215 : 0 : axgbe_dev_info_get(struct rte_eth_dev *dev, struct rte_eth_dev_info *dev_info)
1216 : : {
1217 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1218 : :
1219 : 0 : dev_info->max_rx_queues = pdata->rx_ring_count;
1220 : 0 : dev_info->max_tx_queues = pdata->tx_ring_count;
1221 : 0 : dev_info->min_rx_bufsize = AXGBE_RX_MIN_BUF_SIZE;
1222 : 0 : dev_info->max_rx_pktlen = AXGBE_RX_MAX_BUF_SIZE;
1223 : 0 : dev_info->max_mac_addrs = pdata->hw_feat.addn_mac + 1;
1224 : 0 : dev_info->max_hash_mac_addrs = pdata->hw_feat.hash_table_size;
1225 : 0 : dev_info->speed_capa = RTE_ETH_LINK_SPEED_10G;
1226 : :
1227 : 0 : dev_info->rx_offload_capa =
1228 : : RTE_ETH_RX_OFFLOAD_VLAN_STRIP |
1229 : : RTE_ETH_RX_OFFLOAD_VLAN_FILTER |
1230 : : RTE_ETH_RX_OFFLOAD_VLAN_EXTEND |
1231 : : RTE_ETH_RX_OFFLOAD_IPV4_CKSUM |
1232 : : RTE_ETH_RX_OFFLOAD_UDP_CKSUM |
1233 : : RTE_ETH_RX_OFFLOAD_TCP_CKSUM |
1234 : : RTE_ETH_RX_OFFLOAD_SCATTER |
1235 : : RTE_ETH_RX_OFFLOAD_KEEP_CRC;
1236 : :
1237 : 0 : dev_info->tx_offload_capa =
1238 : : RTE_ETH_TX_OFFLOAD_VLAN_INSERT |
1239 : : RTE_ETH_TX_OFFLOAD_QINQ_INSERT |
1240 : : RTE_ETH_TX_OFFLOAD_IPV4_CKSUM |
1241 : : RTE_ETH_TX_OFFLOAD_MULTI_SEGS |
1242 : : RTE_ETH_TX_OFFLOAD_UDP_CKSUM |
1243 : : RTE_ETH_TX_OFFLOAD_TCP_CKSUM;
1244 : :
1245 [ # # ]: 0 : if (pdata->hw_feat.rss) {
1246 : 0 : dev_info->flow_type_rss_offloads = AXGBE_RSS_OFFLOAD;
1247 : 0 : dev_info->reta_size = pdata->hw_feat.hash_table_size;
1248 : 0 : dev_info->hash_key_size = AXGBE_RSS_HASH_KEY_SIZE;
1249 : : }
1250 : :
1251 : 0 : dev_info->rx_desc_lim = rx_desc_lim;
1252 : 0 : dev_info->tx_desc_lim = tx_desc_lim;
1253 : :
1254 : 0 : dev_info->default_rxconf = (struct rte_eth_rxconf) {
1255 : : .rx_free_thresh = AXGBE_RX_FREE_THRESH,
1256 : : };
1257 : :
1258 : 0 : dev_info->default_txconf = (struct rte_eth_txconf) {
1259 : : .tx_free_thresh = AXGBE_TX_FREE_THRESH,
1260 : : };
1261 : :
1262 : 0 : return 0;
1263 : : }
1264 : :
1265 : : static int
1266 : 0 : axgbe_flow_ctrl_get(struct rte_eth_dev *dev, struct rte_eth_fc_conf *fc_conf)
1267 : : {
1268 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1269 : 0 : struct xgbe_fc_info fc = pdata->fc;
1270 : : unsigned int reg, reg_val = 0;
1271 : :
1272 : : reg = MAC_Q0TFCR;
1273 : 0 : reg_val = AXGMAC_IOREAD(pdata, reg);
1274 : 0 : fc.low_water[0] = AXGMAC_MTL_IOREAD_BITS(pdata, 0, MTL_Q_RQFCR, RFA);
1275 : 0 : fc.high_water[0] = AXGMAC_MTL_IOREAD_BITS(pdata, 0, MTL_Q_RQFCR, RFD);
1276 : 0 : fc.pause_time[0] = AXGMAC_GET_BITS(reg_val, MAC_Q0TFCR, PT);
1277 : : fc.autoneg = pdata->pause_autoneg;
1278 : :
1279 [ # # # # ]: 0 : if (pdata->rx_pause && pdata->tx_pause)
1280 : : fc.mode = RTE_ETH_FC_FULL;
1281 [ # # ]: 0 : else if (pdata->rx_pause)
1282 : : fc.mode = RTE_ETH_FC_RX_PAUSE;
1283 [ # # ]: 0 : else if (pdata->tx_pause)
1284 : : fc.mode = RTE_ETH_FC_TX_PAUSE;
1285 : : else
1286 : : fc.mode = RTE_ETH_FC_NONE;
1287 : :
1288 : 0 : fc_conf->high_water = (1024 + (fc.low_water[0] << 9)) / 1024;
1289 : 0 : fc_conf->low_water = (1024 + (fc.high_water[0] << 9)) / 1024;
1290 : 0 : fc_conf->pause_time = fc.pause_time[0];
1291 : 0 : fc_conf->send_xon = fc.send_xon;
1292 : 0 : fc_conf->mode = fc.mode;
1293 : :
1294 : 0 : return 0;
1295 : : }
1296 : :
1297 : : static int
1298 : 0 : axgbe_flow_ctrl_set(struct rte_eth_dev *dev, struct rte_eth_fc_conf *fc_conf)
1299 : : {
1300 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1301 : : struct xgbe_fc_info fc = pdata->fc;
1302 : : unsigned int reg, reg_val = 0;
1303 : : reg = MAC_Q0TFCR;
1304 : :
1305 : 0 : pdata->pause_autoneg = fc_conf->autoneg;
1306 : 0 : pdata->phy.pause_autoneg = pdata->pause_autoneg;
1307 : : fc.send_xon = fc_conf->send_xon;
1308 [ # # ]: 0 : AXGMAC_MTL_IOWRITE_BITS(pdata, 0, MTL_Q_RQFCR, RFA,
1309 : : AXGMAC_FLOW_CONTROL_VALUE(1024 * fc_conf->high_water));
1310 [ # # ]: 0 : AXGMAC_MTL_IOWRITE_BITS(pdata, 0, MTL_Q_RQFCR, RFD,
1311 : : AXGMAC_FLOW_CONTROL_VALUE(1024 * fc_conf->low_water));
1312 : 0 : AXGMAC_SET_BITS(reg_val, MAC_Q0TFCR, PT, fc_conf->pause_time);
1313 : 0 : AXGMAC_IOWRITE(pdata, reg, reg_val);
1314 : 0 : fc.mode = fc_conf->mode;
1315 : :
1316 [ # # ]: 0 : if (fc.mode == RTE_ETH_FC_FULL) {
1317 : 0 : pdata->tx_pause = 1;
1318 : 0 : pdata->rx_pause = 1;
1319 [ # # ]: 0 : } else if (fc.mode == RTE_ETH_FC_RX_PAUSE) {
1320 : 0 : pdata->tx_pause = 0;
1321 : 0 : pdata->rx_pause = 1;
1322 [ # # ]: 0 : } else if (fc.mode == RTE_ETH_FC_TX_PAUSE) {
1323 : 0 : pdata->tx_pause = 1;
1324 : 0 : pdata->rx_pause = 0;
1325 : : } else {
1326 : 0 : pdata->tx_pause = 0;
1327 : 0 : pdata->rx_pause = 0;
1328 : : }
1329 : :
1330 [ # # ]: 0 : if (pdata->tx_pause != (unsigned int)pdata->phy.tx_pause)
1331 : 0 : pdata->hw_if.config_tx_flow_control(pdata);
1332 : :
1333 [ # # ]: 0 : if (pdata->rx_pause != (unsigned int)pdata->phy.rx_pause)
1334 : 0 : pdata->hw_if.config_rx_flow_control(pdata);
1335 : :
1336 : 0 : pdata->hw_if.config_flow_control(pdata);
1337 : 0 : pdata->phy.tx_pause = pdata->tx_pause;
1338 : 0 : pdata->phy.rx_pause = pdata->rx_pause;
1339 : :
1340 : 0 : return 0;
1341 : : }
1342 : :
1343 : : static int
1344 : 0 : axgbe_priority_flow_ctrl_set(struct rte_eth_dev *dev,
1345 : : struct rte_eth_pfc_conf *pfc_conf)
1346 : : {
1347 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1348 : : struct xgbe_fc_info fc = pdata->fc;
1349 : : uint8_t tc_num;
1350 : :
1351 : 0 : tc_num = pdata->pfc_map[pfc_conf->priority];
1352 : :
1353 [ # # ]: 0 : if (pfc_conf->priority >= pdata->hw_feat.tc_cnt) {
1354 : 0 : PMD_INIT_LOG(ERR, "Max supported traffic class: %d\n",
1355 : : pdata->hw_feat.tc_cnt);
1356 : 0 : return -EINVAL;
1357 : : }
1358 : :
1359 : 0 : pdata->pause_autoneg = pfc_conf->fc.autoneg;
1360 : 0 : pdata->phy.pause_autoneg = pdata->pause_autoneg;
1361 : : fc.send_xon = pfc_conf->fc.send_xon;
1362 [ # # ]: 0 : AXGMAC_MTL_IOWRITE_BITS(pdata, tc_num, MTL_Q_RQFCR, RFA,
1363 : : AXGMAC_FLOW_CONTROL_VALUE(1024 * pfc_conf->fc.high_water));
1364 [ # # ]: 0 : AXGMAC_MTL_IOWRITE_BITS(pdata, tc_num, MTL_Q_RQFCR, RFD,
1365 : : AXGMAC_FLOW_CONTROL_VALUE(1024 * pfc_conf->fc.low_water));
1366 : :
1367 [ # # # # : 0 : switch (tc_num) {
# # # #
# ]
1368 : 0 : case 0:
1369 : 0 : AXGMAC_IOWRITE_BITS(pdata, MTL_TCPM0R,
1370 : : PSTC0, pfc_conf->fc.pause_time);
1371 : : break;
1372 : 0 : case 1:
1373 : 0 : AXGMAC_IOWRITE_BITS(pdata, MTL_TCPM0R,
1374 : : PSTC1, pfc_conf->fc.pause_time);
1375 : : break;
1376 : 0 : case 2:
1377 : 0 : AXGMAC_IOWRITE_BITS(pdata, MTL_TCPM0R,
1378 : : PSTC2, pfc_conf->fc.pause_time);
1379 : : break;
1380 : 0 : case 3:
1381 : 0 : AXGMAC_IOWRITE_BITS(pdata, MTL_TCPM0R,
1382 : : PSTC3, pfc_conf->fc.pause_time);
1383 : : break;
1384 : 0 : case 4:
1385 : 0 : AXGMAC_IOWRITE_BITS(pdata, MTL_TCPM1R,
1386 : : PSTC4, pfc_conf->fc.pause_time);
1387 : : break;
1388 : 0 : case 5:
1389 : 0 : AXGMAC_IOWRITE_BITS(pdata, MTL_TCPM1R,
1390 : : PSTC5, pfc_conf->fc.pause_time);
1391 : : break;
1392 : 0 : case 7:
1393 : 0 : AXGMAC_IOWRITE_BITS(pdata, MTL_TCPM1R,
1394 : : PSTC6, pfc_conf->fc.pause_time);
1395 : : break;
1396 : 0 : case 6:
1397 : 0 : AXGMAC_IOWRITE_BITS(pdata, MTL_TCPM1R,
1398 : : PSTC7, pfc_conf->fc.pause_time);
1399 : : break;
1400 : : }
1401 : :
1402 : 0 : fc.mode = pfc_conf->fc.mode;
1403 : :
1404 [ # # ]: 0 : if (fc.mode == RTE_ETH_FC_FULL) {
1405 : 0 : pdata->tx_pause = 1;
1406 : 0 : pdata->rx_pause = 1;
1407 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_RFCR, PFCE, 1);
1408 [ # # ]: 0 : } else if (fc.mode == RTE_ETH_FC_RX_PAUSE) {
1409 : 0 : pdata->tx_pause = 0;
1410 : 0 : pdata->rx_pause = 1;
1411 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_RFCR, PFCE, 1);
1412 [ # # ]: 0 : } else if (fc.mode == RTE_ETH_FC_TX_PAUSE) {
1413 : 0 : pdata->tx_pause = 1;
1414 : 0 : pdata->rx_pause = 0;
1415 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_RFCR, PFCE, 0);
1416 : : } else {
1417 : 0 : pdata->tx_pause = 0;
1418 : 0 : pdata->rx_pause = 0;
1419 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_RFCR, PFCE, 0);
1420 : : }
1421 : :
1422 [ # # ]: 0 : if (pdata->tx_pause != (unsigned int)pdata->phy.tx_pause)
1423 : 0 : pdata->hw_if.config_tx_flow_control(pdata);
1424 : :
1425 [ # # ]: 0 : if (pdata->rx_pause != (unsigned int)pdata->phy.rx_pause)
1426 : 0 : pdata->hw_if.config_rx_flow_control(pdata);
1427 : 0 : pdata->hw_if.config_flow_control(pdata);
1428 : 0 : pdata->phy.tx_pause = pdata->tx_pause;
1429 : 0 : pdata->phy.rx_pause = pdata->rx_pause;
1430 : :
1431 : 0 : return 0;
1432 : : }
1433 : :
1434 : : void
1435 : 0 : axgbe_rxq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
1436 : : struct rte_eth_rxq_info *qinfo)
1437 : : {
1438 : : struct axgbe_rx_queue *rxq;
1439 : :
1440 : 0 : rxq = dev->data->rx_queues[queue_id];
1441 : 0 : qinfo->mp = rxq->mb_pool;
1442 : 0 : qinfo->scattered_rx = dev->data->scattered_rx;
1443 : 0 : qinfo->nb_desc = rxq->nb_desc;
1444 : 0 : qinfo->conf.rx_free_thresh = rxq->free_thresh;
1445 : 0 : }
1446 : :
1447 : : void
1448 : 0 : axgbe_txq_info_get(struct rte_eth_dev *dev, uint16_t queue_id,
1449 : : struct rte_eth_txq_info *qinfo)
1450 : : {
1451 : : struct axgbe_tx_queue *txq;
1452 : :
1453 : 0 : txq = dev->data->tx_queues[queue_id];
1454 : 0 : qinfo->nb_desc = txq->nb_desc;
1455 : 0 : qinfo->conf.tx_free_thresh = txq->free_thresh;
1456 : 0 : }
1457 : : const uint32_t *
1458 : 0 : axgbe_dev_supported_ptypes_get(struct rte_eth_dev *dev, size_t *no_of_elements)
1459 : : {
1460 : : static const uint32_t ptypes[] = {
1461 : : RTE_PTYPE_L2_ETHER,
1462 : : RTE_PTYPE_L2_ETHER_TIMESYNC,
1463 : : RTE_PTYPE_L2_ETHER_LLDP,
1464 : : RTE_PTYPE_L2_ETHER_ARP,
1465 : : RTE_PTYPE_L3_IPV4_EXT_UNKNOWN,
1466 : : RTE_PTYPE_L3_IPV6_EXT_UNKNOWN,
1467 : : RTE_PTYPE_L4_FRAG,
1468 : : RTE_PTYPE_L4_ICMP,
1469 : : RTE_PTYPE_L4_NONFRAG,
1470 : : RTE_PTYPE_L4_SCTP,
1471 : : RTE_PTYPE_L4_TCP,
1472 : : RTE_PTYPE_L4_UDP,
1473 : : RTE_PTYPE_TUNNEL_GRENAT,
1474 : : RTE_PTYPE_TUNNEL_IP,
1475 : : RTE_PTYPE_INNER_L2_ETHER,
1476 : : RTE_PTYPE_INNER_L2_ETHER_VLAN,
1477 : : RTE_PTYPE_INNER_L3_IPV4_EXT_UNKNOWN,
1478 : : RTE_PTYPE_INNER_L3_IPV6_EXT_UNKNOWN,
1479 : : RTE_PTYPE_INNER_L4_FRAG,
1480 : : RTE_PTYPE_INNER_L4_ICMP,
1481 : : RTE_PTYPE_INNER_L4_NONFRAG,
1482 : : RTE_PTYPE_INNER_L4_SCTP,
1483 : : RTE_PTYPE_INNER_L4_TCP,
1484 : : RTE_PTYPE_INNER_L4_UDP,
1485 : : };
1486 : :
1487 [ # # ]: 0 : if (dev->rx_pkt_burst == axgbe_recv_pkts) {
1488 : 0 : *no_of_elements = RTE_DIM(ptypes);
1489 : 0 : return ptypes;
1490 : : }
1491 : : return NULL;
1492 : : }
1493 : :
1494 : 0 : static int axgb_mtu_set(struct rte_eth_dev *dev, uint16_t mtu)
1495 : : {
1496 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1497 : : unsigned int val;
1498 : :
1499 : : /* mtu setting is forbidden if port is start */
1500 [ # # ]: 0 : if (dev->data->dev_started) {
1501 : 0 : PMD_DRV_LOG(ERR, "port %d must be stopped before configuration",
1502 : : dev->data->port_id);
1503 : 0 : return -EBUSY;
1504 : : }
1505 : 0 : val = mtu > RTE_ETHER_MTU ? 1 : 0;
1506 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_RCR, JE, val);
1507 : :
1508 : 0 : return 0;
1509 : : }
1510 : :
1511 : : static void
1512 : 0 : axgbe_update_tstamp_time(struct axgbe_port *pdata,
1513 : : unsigned int sec, unsigned int nsec, int addsub)
1514 : : {
1515 : : unsigned int count = 100;
1516 : : uint32_t sub_val = 0;
1517 : : uint32_t sub_val_sec = 0xFFFFFFFF;
1518 : : uint32_t sub_val_nsec = 0x3B9ACA00;
1519 : :
1520 [ # # ]: 0 : if (addsub) {
1521 [ # # ]: 0 : if (sec)
1522 : 0 : sub_val = sub_val_sec - (sec - 1);
1523 : : else
1524 : : sub_val = sec;
1525 : :
1526 : 0 : AXGMAC_IOWRITE(pdata, MAC_STSUR, sub_val);
1527 : 0 : sub_val = sub_val_nsec - nsec;
1528 : 0 : AXGMAC_IOWRITE(pdata, MAC_STNUR, sub_val);
1529 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_STNUR, ADDSUB, 1);
1530 : : } else {
1531 : 0 : AXGMAC_IOWRITE(pdata, MAC_STSUR, sec);
1532 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_STNUR, ADDSUB, 0);
1533 : 0 : AXGMAC_IOWRITE(pdata, MAC_STNUR, nsec);
1534 : : }
1535 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_TSCR, TSUPDT, 1);
1536 : : /* Wait for time update to complete */
1537 [ # # # # ]: 0 : while (--count && AXGMAC_IOREAD_BITS(pdata, MAC_TSCR, TSUPDT))
1538 : : rte_delay_ms(1);
1539 : 0 : }
1540 : :
1541 : : static inline uint64_t
1542 : : div_u64_rem(uint64_t dividend, uint32_t divisor, uint32_t *remainder)
1543 : : {
1544 : : *remainder = dividend % divisor;
1545 : 0 : return dividend / divisor;
1546 : : }
1547 : :
1548 : : static inline uint64_t
1549 : : div_u64(uint64_t dividend, uint32_t divisor)
1550 : : {
1551 : : uint32_t remainder;
1552 : : return div_u64_rem(dividend, divisor, &remainder);
1553 : : }
1554 : :
1555 : : static int
1556 : 0 : axgbe_adjfreq(struct axgbe_port *pdata, int64_t delta)
1557 : : {
1558 : : uint64_t adjust;
1559 : : uint32_t addend, diff;
1560 : : unsigned int neg_adjust = 0;
1561 : :
1562 [ # # ]: 0 : if (delta < 0) {
1563 : : neg_adjust = 1;
1564 : 0 : delta = -delta;
1565 : : }
1566 : 0 : adjust = (uint64_t)pdata->tstamp_addend;
1567 : 0 : adjust *= delta;
1568 : 0 : diff = (uint32_t)div_u64(adjust, 1000000000UL);
1569 [ # # ]: 0 : addend = (neg_adjust) ? pdata->tstamp_addend - diff :
1570 : : pdata->tstamp_addend + diff;
1571 : 0 : pdata->tstamp_addend = addend;
1572 : 0 : axgbe_update_tstamp_addend(pdata, addend);
1573 : 0 : return 0;
1574 : : }
1575 : :
1576 : : static int
1577 : 0 : axgbe_timesync_adjust_time(struct rte_eth_dev *dev, int64_t delta)
1578 : : {
1579 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1580 : : struct timespec timestamp_delta;
1581 : :
1582 : 0 : axgbe_adjfreq(pdata, delta);
1583 : 0 : pdata->systime_tc.nsec += delta;
1584 : :
1585 [ # # ]: 0 : if (delta < 0) {
1586 : 0 : delta = -delta;
1587 : 0 : timestamp_delta = rte_ns_to_timespec(delta);
1588 : 0 : axgbe_update_tstamp_time(pdata, timestamp_delta.tv_sec,
1589 : : timestamp_delta.tv_nsec, 1);
1590 : : } else {
1591 : : timestamp_delta = rte_ns_to_timespec(delta);
1592 : 0 : axgbe_update_tstamp_time(pdata, timestamp_delta.tv_sec,
1593 : : timestamp_delta.tv_nsec, 0);
1594 : : }
1595 : 0 : return 0;
1596 : : }
1597 : :
1598 : : static int
1599 : 0 : axgbe_timesync_read_time(struct rte_eth_dev *dev,
1600 : : struct timespec *timestamp)
1601 : : {
1602 : : uint64_t nsec;
1603 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1604 : :
1605 : 0 : nsec = AXGMAC_IOREAD(pdata, MAC_STSR);
1606 : 0 : nsec *= NSEC_PER_SEC;
1607 [ # # ]: 0 : nsec += AXGMAC_IOREAD(pdata, MAC_STNR);
1608 : 0 : *timestamp = rte_ns_to_timespec(nsec);
1609 : 0 : return 0;
1610 : : }
1611 : : static int
1612 : 0 : axgbe_timesync_write_time(struct rte_eth_dev *dev,
1613 : : const struct timespec *timestamp)
1614 : : {
1615 : : unsigned int count = 100;
1616 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1617 : :
1618 : 0 : AXGMAC_IOWRITE(pdata, MAC_STSUR, timestamp->tv_sec);
1619 : 0 : AXGMAC_IOWRITE(pdata, MAC_STNUR, timestamp->tv_nsec);
1620 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_TSCR, TSUPDT, 1);
1621 : : /* Wait for time update to complete */
1622 [ # # # # ]: 0 : while (--count && AXGMAC_IOREAD_BITS(pdata, MAC_TSCR, TSUPDT))
1623 : : rte_delay_ms(1);
1624 [ # # ]: 0 : if (!count)
1625 : 0 : PMD_DRV_LOG(ERR, "Timed out update timestamp\n");
1626 : 0 : return 0;
1627 : : }
1628 : :
1629 : : static void
1630 : 0 : axgbe_update_tstamp_addend(struct axgbe_port *pdata,
1631 : : uint32_t addend)
1632 : : {
1633 : : unsigned int count = 100;
1634 : :
1635 : 0 : AXGMAC_IOWRITE(pdata, MAC_TSAR, addend);
1636 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_TSCR, TSADDREG, 1);
1637 : :
1638 : : /* Wait for addend update to complete */
1639 [ # # # # ]: 0 : while (--count && AXGMAC_IOREAD_BITS(pdata, MAC_TSCR, TSADDREG))
1640 : : rte_delay_ms(1);
1641 [ # # ]: 0 : if (!count)
1642 : 0 : PMD_DRV_LOG(ERR, "Timed out updating timestamp addend register\n");
1643 : 0 : }
1644 : :
1645 : : static void
1646 : 0 : axgbe_set_tstamp_time(struct axgbe_port *pdata, unsigned int sec,
1647 : : unsigned int nsec)
1648 : : {
1649 : : unsigned int count = 100;
1650 : :
1651 : : /*System Time Sec Update*/
1652 : 0 : AXGMAC_IOWRITE(pdata, MAC_STSUR, sec);
1653 : : /*System Time nanoSec Update*/
1654 : 0 : AXGMAC_IOWRITE(pdata, MAC_STNUR, nsec);
1655 : : /*Initialize Timestamp*/
1656 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_TSCR, TSINIT, 1);
1657 : :
1658 : : /* Wait for time update to complete */
1659 [ # # # # ]: 0 : while (--count && AXGMAC_IOREAD_BITS(pdata, MAC_TSCR, TSINIT))
1660 : : rte_delay_ms(1);
1661 [ # # ]: 0 : if (!count)
1662 : 0 : PMD_DRV_LOG(ERR, "Timed out initializing timestamp\n");
1663 : 0 : }
1664 : :
1665 : : static int
1666 : 0 : axgbe_timesync_enable(struct rte_eth_dev *dev)
1667 : : {
1668 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1669 : : unsigned int mac_tscr = 0;
1670 : : uint64_t dividend;
1671 : : struct timespec timestamp;
1672 : : uint64_t nsec;
1673 : :
1674 : : /* Set one nano-second accuracy */
1675 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSCTRLSSR, 1);
1676 : :
1677 : : /* Set fine timestamp update */
1678 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSCFUPDT, 1);
1679 : :
1680 : : /* Overwrite earlier timestamps */
1681 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TXTSSTSM, 1);
1682 : :
1683 : 0 : AXGMAC_IOWRITE(pdata, MAC_TSCR, mac_tscr);
1684 : :
1685 : : /* Enabling processing of ptp over eth pkt */
1686 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSIPENA, 1);
1687 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSVER2ENA, 1);
1688 : : /* Enable timestamp for all pkts*/
1689 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSENALL, 1);
1690 : :
1691 : : /* enabling timestamp */
1692 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSENA, 1);
1693 : 0 : AXGMAC_IOWRITE(pdata, MAC_TSCR, mac_tscr);
1694 : :
1695 : : /* Exit if timestamping is not enabled */
1696 : : if (!AXGMAC_GET_BITS(mac_tscr, MAC_TSCR, TSENA)) {
1697 : : PMD_DRV_LOG(ERR, "Exiting as timestamp is not enabled\n");
1698 : : return 0;
1699 : : }
1700 : :
1701 : : /* Sub-second Increment Value*/
1702 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_SSIR, SSINC, AXGBE_TSTAMP_SSINC);
1703 : : /* Sub-nanosecond Increment Value */
1704 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_SSIR, SNSINC, AXGBE_TSTAMP_SNSINC);
1705 : :
1706 : 0 : pdata->ptpclk_rate = AXGBE_V2_PTP_CLOCK_FREQ;
1707 : : dividend = 50000000;
1708 : : dividend <<= 32;
1709 : 0 : pdata->tstamp_addend = div_u64(dividend, pdata->ptpclk_rate);
1710 : :
1711 : 0 : axgbe_update_tstamp_addend(pdata, pdata->tstamp_addend);
1712 : 0 : axgbe_set_tstamp_time(pdata, 0, 0);
1713 : :
1714 : : /* Initialize the timecounter */
1715 : 0 : memset(&pdata->systime_tc, 0, sizeof(struct rte_timecounter));
1716 : :
1717 : 0 : pdata->systime_tc.cc_mask = AXGBE_CYCLECOUNTER_MASK;
1718 : : pdata->systime_tc.cc_shift = 0;
1719 : : pdata->systime_tc.nsec_mask = 0;
1720 : :
1721 : 0 : PMD_DRV_LOG(DEBUG, "Initializing system time counter with realtime\n");
1722 : :
1723 : : /* Updating the counter once with clock real time */
1724 : 0 : clock_gettime(CLOCK_REALTIME, ×tamp);
1725 : : nsec = rte_timespec_to_ns(×tamp);
1726 : : nsec = rte_timecounter_update(&pdata->systime_tc, nsec);
1727 : 0 : axgbe_set_tstamp_time(pdata, timestamp.tv_sec, timestamp.tv_nsec);
1728 : : return 0;
1729 : : }
1730 : :
1731 : : static int
1732 : 0 : axgbe_timesync_disable(struct rte_eth_dev *dev)
1733 : : {
1734 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1735 : : unsigned int mac_tscr = 0;
1736 : :
1737 : : /*disable timestamp for all pkts*/
1738 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSENALL, 0);
1739 : : /*disable the addened register*/
1740 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_TSCR, TSADDREG, 0);
1741 : : /* disable timestamp update */
1742 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSCFUPDT, 0);
1743 : : /*disable time stamp*/
1744 : : AXGMAC_SET_BITS(mac_tscr, MAC_TSCR, TSENA, 0);
1745 : 0 : return 0;
1746 : : }
1747 : :
1748 : : static int
1749 : 0 : axgbe_timesync_read_rx_timestamp(struct rte_eth_dev *dev,
1750 : : struct timespec *timestamp, uint32_t flags)
1751 : : {
1752 : : uint64_t nsec = 0;
1753 : : volatile union axgbe_rx_desc *desc;
1754 : : uint16_t idx, pmt;
1755 : 0 : struct axgbe_rx_queue *rxq = *dev->data->rx_queues;
1756 : :
1757 : 0 : idx = AXGBE_GET_DESC_IDX(rxq, rxq->cur);
1758 : 0 : desc = &rxq->desc[idx];
1759 : :
1760 [ # # ]: 0 : while (AXGMAC_GET_BITS_LE(desc->write.desc3, RX_NORMAL_DESC3, OWN))
1761 : : rte_delay_ms(1);
1762 [ # # ]: 0 : if (AXGMAC_GET_BITS_LE(desc->write.desc3, RX_NORMAL_DESC3, CTXT)) {
1763 [ # # ]: 0 : if (AXGMAC_GET_BITS_LE(desc->write.desc3, RX_CONTEXT_DESC3, TSA) &&
1764 [ # # ]: 0 : !AXGMAC_GET_BITS_LE(desc->write.desc3,
1765 : : RX_CONTEXT_DESC3, TSD)) {
1766 : 0 : pmt = AXGMAC_GET_BITS_LE(desc->write.desc3,
1767 : : RX_CONTEXT_DESC3, PMT);
1768 : 0 : nsec = rte_le_to_cpu_32(desc->write.desc1);
1769 : 0 : nsec *= NSEC_PER_SEC;
1770 : 0 : nsec += rte_le_to_cpu_32(desc->write.desc0);
1771 : : if (nsec != 0xffffffffffffffffULL) {
1772 [ # # ]: 0 : if (pmt == 0x01)
1773 : 0 : *timestamp = rte_ns_to_timespec(nsec);
1774 : 0 : PMD_DRV_LOG(DEBUG,
1775 : : "flags = 0x%x nsec = %"PRIu64"\n",
1776 : : flags, nsec);
1777 : : }
1778 : : }
1779 : : }
1780 : :
1781 : 0 : return 0;
1782 : : }
1783 : :
1784 : : static int
1785 : 0 : axgbe_timesync_read_tx_timestamp(struct rte_eth_dev *dev,
1786 : : struct timespec *timestamp)
1787 : : {
1788 : : uint64_t nsec;
1789 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1790 : : unsigned int tx_snr, tx_ssr;
1791 : :
1792 : 0 : rte_delay_us(5);
1793 [ # # ]: 0 : if (pdata->vdata->tx_tstamp_workaround) {
1794 : 0 : tx_snr = AXGMAC_IOREAD(pdata, MAC_TXSNR);
1795 : 0 : tx_ssr = AXGMAC_IOREAD(pdata, MAC_TXSSR);
1796 : :
1797 : : } else {
1798 : 0 : tx_ssr = AXGMAC_IOREAD(pdata, MAC_TXSSR);
1799 : 0 : tx_snr = AXGMAC_IOREAD(pdata, MAC_TXSNR);
1800 : : }
1801 [ # # ]: 0 : if (AXGMAC_GET_BITS(tx_snr, MAC_TXSNR, TXTSSTSMIS)) {
1802 : 0 : PMD_DRV_LOG(DEBUG, "Waiting for TXTSSTSMIS\n");
1803 : 0 : return 0;
1804 : : }
1805 : 0 : nsec = tx_ssr;
1806 : 0 : nsec *= NSEC_PER_SEC;
1807 : 0 : nsec += tx_snr;
1808 : 0 : PMD_DRV_LOG(DEBUG, "nsec = %"PRIu64" tx_ssr = %d tx_snr = %d\n",
1809 : : nsec, tx_ssr, tx_snr);
1810 : 0 : *timestamp = rte_ns_to_timespec(nsec);
1811 : 0 : return 0;
1812 : : }
1813 : :
1814 : : static int
1815 : 0 : axgbe_vlan_filter_set(struct rte_eth_dev *dev, uint16_t vid, int on)
1816 : : {
1817 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1818 : : unsigned long vid_bit, vid_idx;
1819 : :
1820 : 0 : vid_bit = VLAN_TABLE_BIT(vid);
1821 : 0 : vid_idx = VLAN_TABLE_IDX(vid);
1822 : :
1823 [ # # ]: 0 : if (on) {
1824 : 0 : PMD_DRV_LOG(DEBUG, "Set VLAN vid=%d for device = %s\n",
1825 : : vid, pdata->eth_dev->device->name);
1826 : 0 : pdata->active_vlans[vid_idx] |= vid_bit;
1827 : : } else {
1828 : 0 : PMD_DRV_LOG(DEBUG, "Reset VLAN vid=%d for device = %s\n",
1829 : : vid, pdata->eth_dev->device->name);
1830 : 0 : pdata->active_vlans[vid_idx] &= ~vid_bit;
1831 : : }
1832 : 0 : pdata->hw_if.update_vlan_hash_table(pdata);
1833 : 0 : return 0;
1834 : : }
1835 : :
1836 : : static int
1837 : 0 : axgbe_vlan_tpid_set(struct rte_eth_dev *dev,
1838 : : enum rte_vlan_type vlan_type,
1839 : : uint16_t tpid)
1840 : : {
1841 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1842 : : uint32_t reg = 0;
1843 : : uint32_t qinq = 0;
1844 : :
1845 : 0 : qinq = AXGMAC_IOREAD_BITS(pdata, MAC_VLANTR, EDVLP);
1846 : 0 : PMD_DRV_LOG(DEBUG, "EDVLP: qinq = 0x%x\n", qinq);
1847 : :
1848 [ # # # # : 0 : switch (vlan_type) {
# ]
1849 : 0 : case RTE_ETH_VLAN_TYPE_INNER:
1850 : 0 : PMD_DRV_LOG(DEBUG, "RTE_ETH_VLAN_TYPE_INNER\n");
1851 [ # # ]: 0 : if (qinq) {
1852 [ # # ]: 0 : if (tpid != 0x8100 && tpid != 0x88a8)
1853 : 0 : PMD_DRV_LOG(ERR,
1854 : : "tag supported 0x8100/0x88A8\n");
1855 : 0 : PMD_DRV_LOG(DEBUG, "qinq with inner tag\n");
1856 : :
1857 : : /*Enable Inner VLAN Tag */
1858 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_VLANTR, ERIVLT, 1);
1859 : 0 : reg = AXGMAC_IOREAD_BITS(pdata, MAC_VLANTR, ERIVLT);
1860 : 0 : PMD_DRV_LOG(DEBUG, "bit ERIVLT = 0x%x\n", reg);
1861 : :
1862 : : } else {
1863 : 0 : PMD_DRV_LOG(ERR,
1864 : : "Inner type not supported in single tag\n");
1865 : : }
1866 : : break;
1867 : 0 : case RTE_ETH_VLAN_TYPE_OUTER:
1868 : 0 : PMD_DRV_LOG(DEBUG, "RTE_ETH_VLAN_TYPE_OUTER\n");
1869 [ # # ]: 0 : if (qinq) {
1870 : 0 : PMD_DRV_LOG(DEBUG, "double tagging is enabled\n");
1871 : : /*Enable outer VLAN tag*/
1872 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_VLANTR, ERIVLT, 0);
1873 : 0 : reg = AXGMAC_IOREAD_BITS(pdata, MAC_VLANTR, ERIVLT);
1874 : 0 : PMD_DRV_LOG(DEBUG, "bit ERIVLT = 0x%x\n", reg);
1875 : :
1876 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_VLANIR, CSVL, 1);
1877 : 0 : reg = AXGMAC_IOREAD_BITS(pdata, MAC_VLANIR, CSVL);
1878 : 0 : PMD_DRV_LOG(DEBUG, "bit CSVL = 0x%x\n", reg);
1879 : : } else {
1880 [ # # ]: 0 : if (tpid != 0x8100 && tpid != 0x88a8)
1881 : 0 : PMD_DRV_LOG(ERR,
1882 : : "tag supported 0x8100/0x88A8\n");
1883 : : }
1884 : : break;
1885 : 0 : case RTE_ETH_VLAN_TYPE_MAX:
1886 : 0 : PMD_DRV_LOG(ERR, "RTE_ETH_VLAN_TYPE_MAX\n");
1887 : 0 : break;
1888 : 0 : case RTE_ETH_VLAN_TYPE_UNKNOWN:
1889 : 0 : PMD_DRV_LOG(ERR, "RTE_ETH_VLAN_TYPE_UNKNOWN\n");
1890 : 0 : break;
1891 : : }
1892 : 0 : return 0;
1893 : : }
1894 : :
1895 : 0 : static void axgbe_vlan_extend_enable(struct axgbe_port *pdata)
1896 : : {
1897 : : int qinq = 0;
1898 : :
1899 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_VLANTR, EDVLP, 1);
1900 : 0 : qinq = AXGMAC_IOREAD_BITS(pdata, MAC_VLANTR, EDVLP);
1901 : 0 : PMD_DRV_LOG(DEBUG, "vlan double tag enabled EDVLP:qinq=0x%x\n", qinq);
1902 : 0 : }
1903 : :
1904 : 0 : static void axgbe_vlan_extend_disable(struct axgbe_port *pdata)
1905 : : {
1906 : : int qinq = 0;
1907 : :
1908 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_VLANTR, EDVLP, 0);
1909 : 0 : qinq = AXGMAC_IOREAD_BITS(pdata, MAC_VLANTR, EDVLP);
1910 : 0 : PMD_DRV_LOG(DEBUG, "vlan double tag disable EDVLP:qinq=0x%x\n", qinq);
1911 : 0 : }
1912 : :
1913 : : static int
1914 : 0 : axgbe_vlan_offload_set(struct rte_eth_dev *dev, int mask)
1915 : : {
1916 : 0 : struct rte_eth_rxmode *rxmode = &dev->data->dev_conf.rxmode;
1917 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
1918 : :
1919 : : /* Indicate that VLAN Tx CTAGs come from context descriptors */
1920 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_VLANIR, CSVL, 0);
1921 : 0 : AXGMAC_IOWRITE_BITS(pdata, MAC_VLANIR, VLTI, 1);
1922 : :
1923 [ # # ]: 0 : if (mask & RTE_ETH_VLAN_STRIP_MASK) {
1924 [ # # ]: 0 : if (rxmode->offloads & RTE_ETH_RX_OFFLOAD_VLAN_STRIP) {
1925 : 0 : PMD_DRV_LOG(DEBUG, "Strip ON for device = %s\n",
1926 : : pdata->eth_dev->device->name);
1927 : 0 : pdata->hw_if.enable_rx_vlan_stripping(pdata);
1928 : : } else {
1929 : 0 : PMD_DRV_LOG(DEBUG, "Strip OFF for device = %s\n",
1930 : : pdata->eth_dev->device->name);
1931 : 0 : pdata->hw_if.disable_rx_vlan_stripping(pdata);
1932 : : }
1933 : : }
1934 [ # # ]: 0 : if (mask & RTE_ETH_VLAN_FILTER_MASK) {
1935 [ # # ]: 0 : if (rxmode->offloads & RTE_ETH_RX_OFFLOAD_VLAN_FILTER) {
1936 : 0 : PMD_DRV_LOG(DEBUG, "Filter ON for device = %s\n",
1937 : : pdata->eth_dev->device->name);
1938 : 0 : pdata->hw_if.enable_rx_vlan_filtering(pdata);
1939 : : } else {
1940 : 0 : PMD_DRV_LOG(DEBUG, "Filter OFF for device = %s\n",
1941 : : pdata->eth_dev->device->name);
1942 : 0 : pdata->hw_if.disable_rx_vlan_filtering(pdata);
1943 : : }
1944 : : }
1945 [ # # ]: 0 : if (mask & RTE_ETH_VLAN_EXTEND_MASK) {
1946 [ # # ]: 0 : if (rxmode->offloads & RTE_ETH_RX_OFFLOAD_VLAN_EXTEND) {
1947 : 0 : PMD_DRV_LOG(DEBUG, "enabling vlan extended mode\n");
1948 : 0 : axgbe_vlan_extend_enable(pdata);
1949 : : /* Set global registers with default ethertype*/
1950 : 0 : axgbe_vlan_tpid_set(dev, RTE_ETH_VLAN_TYPE_OUTER,
1951 : : RTE_ETHER_TYPE_VLAN);
1952 : 0 : axgbe_vlan_tpid_set(dev, RTE_ETH_VLAN_TYPE_INNER,
1953 : : RTE_ETHER_TYPE_VLAN);
1954 : : } else {
1955 : 0 : PMD_DRV_LOG(DEBUG, "disabling vlan extended mode\n");
1956 : 0 : axgbe_vlan_extend_disable(pdata);
1957 : : }
1958 : : }
1959 : 0 : return 0;
1960 : : }
1961 : :
1962 : 0 : static void axgbe_get_all_hw_features(struct axgbe_port *pdata)
1963 : : {
1964 : : unsigned int mac_hfr0, mac_hfr1, mac_hfr2, mac_hfr3;
1965 : 0 : struct axgbe_hw_features *hw_feat = &pdata->hw_feat;
1966 : :
1967 : 0 : mac_hfr0 = AXGMAC_IOREAD(pdata, MAC_HWF0R);
1968 : 0 : mac_hfr1 = AXGMAC_IOREAD(pdata, MAC_HWF1R);
1969 : 0 : mac_hfr2 = AXGMAC_IOREAD(pdata, MAC_HWF2R);
1970 : 0 : mac_hfr3 = AXGMAC_IOREAD(pdata, MAC_HWF3R);
1971 : :
1972 : : memset(hw_feat, 0, sizeof(*hw_feat));
1973 : :
1974 : 0 : hw_feat->version = AXGMAC_IOREAD(pdata, MAC_VR);
1975 : :
1976 : : /* Hardware feature register 0 */
1977 : 0 : hw_feat->gmii = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, GMIISEL);
1978 : 0 : hw_feat->vlhash = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, VLHASH);
1979 : 0 : hw_feat->sma = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, SMASEL);
1980 : 0 : hw_feat->rwk = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, RWKSEL);
1981 : 0 : hw_feat->mgk = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, MGKSEL);
1982 : 0 : hw_feat->mmc = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, MMCSEL);
1983 : 0 : hw_feat->aoe = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, ARPOFFSEL);
1984 : 0 : hw_feat->ts = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, TSSEL);
1985 : 0 : hw_feat->eee = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, EEESEL);
1986 : 0 : hw_feat->tx_coe = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, TXCOESEL);
1987 : 0 : hw_feat->rx_coe = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, RXCOESEL);
1988 : 0 : hw_feat->addn_mac = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R,
1989 : : ADDMACADRSEL);
1990 : 0 : hw_feat->ts_src = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, TSSTSSEL);
1991 : 0 : hw_feat->sa_vlan_ins = AXGMAC_GET_BITS(mac_hfr0, MAC_HWF0R, SAVLANINS);
1992 : :
1993 : : /* Hardware feature register 1 */
1994 : 0 : hw_feat->rx_fifo_size = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R,
1995 : : RXFIFOSIZE);
1996 : 0 : hw_feat->tx_fifo_size = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R,
1997 : : TXFIFOSIZE);
1998 : 0 : hw_feat->adv_ts_hi = AXGMAC_GET_BITS(mac_hfr1,
1999 : : MAC_HWF1R, ADVTHWORD);
2000 : 0 : hw_feat->dma_width = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R, ADDR64);
2001 : 0 : hw_feat->dcb = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R, DCBEN);
2002 : 0 : hw_feat->sph = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R, SPHEN);
2003 : 0 : hw_feat->tso = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R, TSOEN);
2004 : 0 : hw_feat->dma_debug = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R, DBGMEMA);
2005 : 0 : hw_feat->rss = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R, RSSEN);
2006 : 0 : hw_feat->tc_cnt = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R, NUMTC);
2007 : 0 : hw_feat->hash_table_size = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R,
2008 : : HASHTBLSZ);
2009 : 0 : hw_feat->l3l4_filter_num = AXGMAC_GET_BITS(mac_hfr1, MAC_HWF1R,
2010 : : L3L4FNUM);
2011 : :
2012 : : /* Hardware feature register 2 */
2013 : 0 : hw_feat->rx_q_cnt = AXGMAC_GET_BITS(mac_hfr2, MAC_HWF2R, RXQCNT);
2014 : 0 : hw_feat->tx_q_cnt = AXGMAC_GET_BITS(mac_hfr2, MAC_HWF2R, TXQCNT);
2015 : 0 : hw_feat->rx_ch_cnt = AXGMAC_GET_BITS(mac_hfr2, MAC_HWF2R, RXCHCNT);
2016 : 0 : hw_feat->tx_ch_cnt = AXGMAC_GET_BITS(mac_hfr2, MAC_HWF2R, TXCHCNT);
2017 : 0 : hw_feat->pps_out_num = AXGMAC_GET_BITS(mac_hfr2, MAC_HWF2R, PPSOUTNUM);
2018 : 0 : hw_feat->aux_snap_num = AXGMAC_GET_BITS(mac_hfr2, MAC_HWF2R,
2019 : : AUXSNAPNUM);
2020 : :
2021 : : /* Hardware feature register 3 */
2022 : 0 : hw_feat->tx_q_vlan_tag_ins = AXGMAC_GET_BITS(mac_hfr3,
2023 : : MAC_HWF3R, CBTISEL);
2024 : 0 : hw_feat->no_of_vlan_extn = AXGMAC_GET_BITS(mac_hfr3,
2025 : : MAC_HWF3R, NRVF);
2026 : :
2027 : : /* Translate the Hash Table size into actual number */
2028 [ # # # # ]: 0 : switch (hw_feat->hash_table_size) {
2029 : : case 0:
2030 : : break;
2031 : 0 : case 1:
2032 : 0 : hw_feat->hash_table_size = 64;
2033 : 0 : break;
2034 : 0 : case 2:
2035 : 0 : hw_feat->hash_table_size = 128;
2036 : 0 : break;
2037 : 0 : case 3:
2038 : 0 : hw_feat->hash_table_size = 256;
2039 : 0 : break;
2040 : : }
2041 : :
2042 : : /* Translate the address width setting into actual number */
2043 [ # # # # ]: 0 : switch (hw_feat->dma_width) {
2044 : 0 : case 0:
2045 : 0 : hw_feat->dma_width = 32;
2046 : 0 : break;
2047 : 0 : case 1:
2048 : 0 : hw_feat->dma_width = 40;
2049 : 0 : break;
2050 : 0 : case 2:
2051 : 0 : hw_feat->dma_width = 48;
2052 : 0 : break;
2053 : 0 : default:
2054 : 0 : hw_feat->dma_width = 32;
2055 : : }
2056 : :
2057 : : /* The Queue, Channel and TC counts are zero based so increment them
2058 : : * to get the actual number
2059 : : */
2060 : 0 : hw_feat->rx_q_cnt++;
2061 : 0 : hw_feat->tx_q_cnt++;
2062 : 0 : hw_feat->rx_ch_cnt++;
2063 : 0 : hw_feat->tx_ch_cnt++;
2064 : 0 : hw_feat->tc_cnt++;
2065 : :
2066 : : /* Translate the fifo sizes into actual numbers */
2067 : 0 : hw_feat->rx_fifo_size = 1 << (hw_feat->rx_fifo_size + 7);
2068 : 0 : hw_feat->tx_fifo_size = 1 << (hw_feat->tx_fifo_size + 7);
2069 : 0 : }
2070 : :
2071 : 0 : static void axgbe_init_all_fptrs(struct axgbe_port *pdata)
2072 : : {
2073 : 0 : axgbe_init_function_ptrs_dev(&pdata->hw_if);
2074 : 0 : axgbe_init_function_ptrs_phy(&pdata->phy_if);
2075 : 0 : axgbe_init_function_ptrs_i2c(&pdata->i2c_if);
2076 : 0 : pdata->vdata->init_function_ptrs_phy_impl(&pdata->phy_if);
2077 : 0 : }
2078 : :
2079 : 0 : static void axgbe_set_counts(struct axgbe_port *pdata)
2080 : : {
2081 : : /* Set all the function pointers */
2082 : 0 : axgbe_init_all_fptrs(pdata);
2083 : :
2084 : : /* Populate the hardware features */
2085 : 0 : axgbe_get_all_hw_features(pdata);
2086 : :
2087 : : /* Set default max values if not provided */
2088 [ # # ]: 0 : if (!pdata->tx_max_channel_count)
2089 : 0 : pdata->tx_max_channel_count = pdata->hw_feat.tx_ch_cnt;
2090 [ # # ]: 0 : if (!pdata->rx_max_channel_count)
2091 : 0 : pdata->rx_max_channel_count = pdata->hw_feat.rx_ch_cnt;
2092 : :
2093 [ # # ]: 0 : if (!pdata->tx_max_q_count)
2094 : 0 : pdata->tx_max_q_count = pdata->hw_feat.tx_q_cnt;
2095 [ # # ]: 0 : if (!pdata->rx_max_q_count)
2096 : 0 : pdata->rx_max_q_count = pdata->hw_feat.rx_q_cnt;
2097 : :
2098 : : /* Calculate the number of Tx and Rx rings to be created
2099 : : * -Tx (DMA) Channels map 1-to-1 to Tx Queues so set
2100 : : * the number of Tx queues to the number of Tx channels
2101 : : * enabled
2102 : : * -Rx (DMA) Channels do not map 1-to-1 so use the actual
2103 : : * number of Rx queues or maximum allowed
2104 : : */
2105 : 0 : pdata->tx_ring_count = RTE_MIN(pdata->hw_feat.tx_ch_cnt,
2106 : : pdata->tx_max_channel_count);
2107 : 0 : pdata->tx_ring_count = RTE_MIN(pdata->tx_ring_count,
2108 : : pdata->tx_max_q_count);
2109 : :
2110 : 0 : pdata->tx_q_count = pdata->tx_ring_count;
2111 : :
2112 : 0 : pdata->rx_ring_count = RTE_MIN(pdata->hw_feat.rx_ch_cnt,
2113 : : pdata->rx_max_channel_count);
2114 : :
2115 : 0 : pdata->rx_q_count = RTE_MIN(pdata->hw_feat.rx_q_cnt,
2116 : : pdata->rx_max_q_count);
2117 : 0 : }
2118 : :
2119 : : static void axgbe_default_config(struct axgbe_port *pdata)
2120 : : {
2121 : 0 : pdata->pblx8 = DMA_PBL_X8_ENABLE;
2122 : 0 : pdata->tx_sf_mode = MTL_TSF_ENABLE;
2123 : 0 : pdata->tx_threshold = MTL_TX_THRESHOLD_64;
2124 : 0 : pdata->tx_pbl = DMA_PBL_32;
2125 : 0 : pdata->tx_osp_mode = DMA_OSP_ENABLE;
2126 : 0 : pdata->rx_sf_mode = MTL_RSF_ENABLE;
2127 : 0 : pdata->rx_threshold = MTL_RX_THRESHOLD_64;
2128 : 0 : pdata->rx_pbl = DMA_PBL_32;
2129 : 0 : pdata->pause_autoneg = 1;
2130 : 0 : pdata->tx_pause = 0;
2131 : 0 : pdata->rx_pause = 0;
2132 : 0 : pdata->phy_speed = SPEED_UNKNOWN;
2133 : 0 : pdata->power_down = 0;
2134 : : }
2135 : :
2136 : : /* Used in dev_start by primary process and then
2137 : : * in dev_init by secondary process when attaching to an existing ethdev.
2138 : : */
2139 : : void
2140 : 0 : axgbe_set_tx_function(struct rte_eth_dev *dev)
2141 : : {
2142 : 0 : struct axgbe_port *pdata = dev->data->dev_private;
2143 : :
2144 : 0 : dev->tx_pkt_burst = &axgbe_xmit_pkts;
2145 : :
2146 [ # # ]: 0 : if (pdata->multi_segs_tx)
2147 : 0 : dev->tx_pkt_burst = &axgbe_xmit_pkts_seg;
2148 : : #ifdef RTE_ARCH_X86
2149 : 0 : struct axgbe_tx_queue *txq = dev->data->tx_queues[0];
2150 [ # # # # ]: 0 : if (!txq->vector_disable &&
2151 : 0 : rte_vect_get_max_simd_bitwidth() >= RTE_VECT_SIMD_128)
2152 : 0 : dev->tx_pkt_burst = &axgbe_xmit_pkts_vec;
2153 : : #endif
2154 : 0 : }
2155 : :
2156 : : void
2157 : 0 : axgbe_set_rx_function(struct rte_eth_dev *dev)
2158 : : {
2159 : 0 : struct rte_eth_dev_data *dev_data = dev->data;
2160 : : uint16_t max_pkt_len;
2161 : : struct axgbe_port *pdata;
2162 : :
2163 : 0 : pdata = dev->data->dev_private;
2164 : 0 : max_pkt_len = dev_data->mtu + RTE_ETHER_HDR_LEN + RTE_ETHER_CRC_LEN;
2165 [ # # ]: 0 : if ((dev_data->dev_conf.rxmode.offloads & RTE_ETH_RX_OFFLOAD_SCATTER) ||
2166 [ # # ]: 0 : max_pkt_len > pdata->rx_buf_size)
2167 : 0 : dev_data->scattered_rx = 1;
2168 : : /* Scatter Rx handling */
2169 [ # # ]: 0 : if (dev_data->scattered_rx)
2170 : 0 : dev->rx_pkt_burst = ð_axgbe_recv_scattered_pkts;
2171 : : else
2172 : 0 : dev->rx_pkt_burst = &axgbe_recv_pkts;
2173 : 0 : }
2174 : :
2175 : : /*
2176 : : * It returns 0 on success.
2177 : : */
2178 : : static int
2179 : 0 : eth_axgbe_dev_init(struct rte_eth_dev *eth_dev)
2180 : : {
2181 : : PMD_INIT_FUNC_TRACE();
2182 : : struct axgbe_port *pdata;
2183 : : struct rte_pci_device *pci_dev;
2184 : : uint32_t reg, mac_lo, mac_hi;
2185 : : uint32_t len;
2186 : : int ret;
2187 : :
2188 : : unsigned int eax = 0, ebx = 0, ecx = 0, edx = 0;
2189 : : unsigned char cpu_family = 0, cpu_model = 0;
2190 : :
2191 : 0 : eth_dev->dev_ops = &axgbe_eth_dev_ops;
2192 : :
2193 : 0 : eth_dev->rx_descriptor_status = axgbe_dev_rx_descriptor_status;
2194 : 0 : eth_dev->tx_descriptor_status = axgbe_dev_tx_descriptor_status;
2195 : :
2196 : 0 : eth_dev->tx_pkt_burst = &axgbe_xmit_pkts;
2197 : 0 : eth_dev->rx_pkt_burst = &axgbe_recv_pkts;
2198 : :
2199 : : /*
2200 : : * For secondary processes, we don't initialise any further as primary
2201 : : * has already done this work.
2202 : : */
2203 [ # # ]: 0 : if (rte_eal_process_type() != RTE_PROC_PRIMARY) {
2204 : 0 : axgbe_set_tx_function(eth_dev);
2205 : 0 : axgbe_set_rx_function(eth_dev);
2206 : 0 : return 0;
2207 : : }
2208 : :
2209 : 0 : eth_dev->data->dev_flags |= RTE_ETH_DEV_AUTOFILL_QUEUE_XSTATS;
2210 : :
2211 [ # # ]: 0 : pdata = eth_dev->data->dev_private;
2212 : : /* initial state */
2213 : : rte_bit_relaxed_set32(AXGBE_DOWN, &pdata->dev_state);
2214 : : rte_bit_relaxed_set32(AXGBE_STOPPED, &pdata->dev_state);
2215 : 0 : pdata->eth_dev = eth_dev;
2216 : :
2217 : 0 : pci_dev = RTE_DEV_TO_PCI(eth_dev->device);
2218 : 0 : pdata->pci_dev = pci_dev;
2219 : :
2220 : 0 : pdata->xgmac_regs =
2221 : 0 : (void *)pci_dev->mem_resource[AXGBE_AXGMAC_BAR].addr;
2222 : 0 : pdata->xprop_regs = (void *)((uint8_t *)pdata->xgmac_regs
2223 : : + AXGBE_MAC_PROP_OFFSET);
2224 : 0 : pdata->xi2c_regs = (void *)((uint8_t *)pdata->xgmac_regs
2225 : : + AXGBE_I2C_CTRL_OFFSET);
2226 : 0 : pdata->xpcs_regs = (void *)pci_dev->mem_resource[AXGBE_XPCS_BAR].addr;
2227 : :
2228 : : /* version specific driver data*/
2229 [ # # ]: 0 : if (pci_dev->id.device_id == AMD_PCI_AXGBE_DEVICE_V2A)
2230 : 0 : pdata->vdata = &axgbe_v2a;
2231 : : else
2232 : 0 : pdata->vdata = &axgbe_v2b;
2233 : :
2234 : : /*
2235 : : * Use CPUID to get Family and model ID to identify the CPU
2236 : : */
2237 : 0 : __cpuid(0x0, eax, ebx, ecx, edx);
2238 : :
2239 : 0 : if (ebx == CPUID_VENDOR_AuthenticAMD_ebx &&
2240 [ # # # # ]: 0 : edx == CPUID_VENDOR_AuthenticAMD_edx &&
2241 : : ecx == CPUID_VENDOR_AuthenticAMD_ecx) {
2242 : : int unknown_cpu = 0;
2243 : : eax = 0, ebx = 0, ecx = 0, edx = 0;
2244 : :
2245 : 0 : __cpuid(0x1, eax, ebx, ecx, edx);
2246 : :
2247 : 0 : cpu_family = ((GET_BITS(eax, 8, 4)) + (GET_BITS(eax, 20, 8)));
2248 : 0 : cpu_model = ((GET_BITS(eax, 4, 4)) | (((GET_BITS(eax, 16, 4)) << 4) & 0xF0));
2249 : :
2250 [ # # # ]: 0 : switch (cpu_family) {
2251 : 0 : case Fam17h:
2252 : : /* V1000/R1000 */
2253 [ # # ]: 0 : if (cpu_model >= 0x10 && cpu_model <= 0x1F) {
2254 : 0 : pdata->xpcs_window_def_reg = PCS_V2_RV_WINDOW_DEF;
2255 : 0 : pdata->xpcs_window_sel_reg = PCS_V2_RV_WINDOW_SELECT;
2256 : : /* EPYC 3000 */
2257 [ # # ]: 0 : } else if (cpu_model >= 0x01 && cpu_model <= 0x0F) {
2258 : 0 : pdata->xpcs_window_def_reg = PCS_V2_WINDOW_DEF;
2259 : 0 : pdata->xpcs_window_sel_reg = PCS_V2_WINDOW_SELECT;
2260 : : } else {
2261 : : unknown_cpu = 1;
2262 : : }
2263 : : break;
2264 : 0 : case Fam19h:
2265 : : /* V3000 (Yellow Carp) */
2266 [ # # ]: 0 : if (cpu_model >= 0x44 && cpu_model <= 0x47) {
2267 : 0 : pdata->xpcs_window_def_reg = PCS_V2_YC_WINDOW_DEF;
2268 : 0 : pdata->xpcs_window_sel_reg = PCS_V2_YC_WINDOW_SELECT;
2269 : :
2270 : : /* Yellow Carp devices do not need cdr workaround */
2271 : 0 : pdata->vdata->an_cdr_workaround = 0;
2272 : : } else {
2273 : : unknown_cpu = 1;
2274 : : }
2275 : : break;
2276 : : default:
2277 : : unknown_cpu = 1;
2278 : : break;
2279 : : }
2280 : : if (unknown_cpu) {
2281 : 0 : PMD_DRV_LOG(ERR, "Unknown CPU family, no supported axgbe device found\n");
2282 : 0 : return -ENODEV;
2283 : : }
2284 : : }
2285 : :
2286 : : /* Configure the PCS indirect addressing support */
2287 : 0 : reg = XPCS32_IOREAD(pdata, pdata->xpcs_window_def_reg);
2288 : 0 : pdata->xpcs_window = XPCS_GET_BITS(reg, PCS_V2_WINDOW_DEF, OFFSET);
2289 : 0 : pdata->xpcs_window <<= 6;
2290 : 0 : pdata->xpcs_window_size = XPCS_GET_BITS(reg, PCS_V2_WINDOW_DEF, SIZE);
2291 : 0 : pdata->xpcs_window_size = 1 << (pdata->xpcs_window_size + 7);
2292 : 0 : pdata->xpcs_window_mask = pdata->xpcs_window_size - 1;
2293 : :
2294 : 0 : PMD_INIT_LOG(DEBUG,
2295 : : "xpcs window :%x, size :%x, mask :%x ", pdata->xpcs_window,
2296 : : pdata->xpcs_window_size, pdata->xpcs_window_mask);
2297 : 0 : XP_IOWRITE(pdata, XP_INT_EN, 0x1fffff);
2298 : :
2299 : : /* Retrieve the MAC address */
2300 : 0 : mac_lo = XP_IOREAD(pdata, XP_MAC_ADDR_LO);
2301 : 0 : mac_hi = XP_IOREAD(pdata, XP_MAC_ADDR_HI);
2302 : 0 : pdata->mac_addr.addr_bytes[0] = mac_lo & 0xff;
2303 : 0 : pdata->mac_addr.addr_bytes[1] = (mac_lo >> 8) & 0xff;
2304 : 0 : pdata->mac_addr.addr_bytes[2] = (mac_lo >> 16) & 0xff;
2305 : 0 : pdata->mac_addr.addr_bytes[3] = (mac_lo >> 24) & 0xff;
2306 : 0 : pdata->mac_addr.addr_bytes[4] = mac_hi & 0xff;
2307 : 0 : pdata->mac_addr.addr_bytes[5] = (mac_hi >> 8) & 0xff;
2308 : :
2309 : : len = RTE_ETHER_ADDR_LEN * AXGBE_MAX_MAC_ADDRS;
2310 : 0 : eth_dev->data->mac_addrs = rte_zmalloc("axgbe_mac_addr", len, 0);
2311 : :
2312 [ # # ]: 0 : if (!eth_dev->data->mac_addrs) {
2313 : 0 : PMD_INIT_LOG(ERR,
2314 : : "Failed to alloc %u bytes needed to "
2315 : : "store MAC addresses", len);
2316 : 0 : return -ENOMEM;
2317 : : }
2318 : :
2319 : : /* Allocate memory for storing hash filter MAC addresses */
2320 : : len = RTE_ETHER_ADDR_LEN * AXGBE_MAX_HASH_MAC_ADDRS;
2321 : 0 : eth_dev->data->hash_mac_addrs = rte_zmalloc("axgbe_hash_mac_addr",
2322 : : len, 0);
2323 : :
2324 [ # # ]: 0 : if (eth_dev->data->hash_mac_addrs == NULL) {
2325 : 0 : PMD_INIT_LOG(ERR,
2326 : : "Failed to allocate %d bytes needed to "
2327 : : "store MAC addresses", len);
2328 : 0 : return -ENOMEM;
2329 : : }
2330 : :
2331 : : if (!rte_is_valid_assigned_ether_addr(&pdata->mac_addr))
2332 : 0 : rte_eth_random_addr(pdata->mac_addr.addr_bytes);
2333 : :
2334 : : /* Copy the permanent MAC address */
2335 : 0 : rte_ether_addr_copy(&pdata->mac_addr, ð_dev->data->mac_addrs[0]);
2336 : :
2337 : : /* Clock settings */
2338 : 0 : pdata->sysclk_rate = AXGBE_V2_DMA_CLOCK_FREQ;
2339 : 0 : pdata->ptpclk_rate = AXGBE_V2_PTP_CLOCK_FREQ;
2340 : :
2341 : : /* Set the DMA coherency values */
2342 : 0 : pdata->coherent = 1;
2343 : 0 : pdata->axdomain = AXGBE_DMA_OS_AXDOMAIN;
2344 : 0 : pdata->arcache = AXGBE_DMA_OS_ARCACHE;
2345 : 0 : pdata->awcache = AXGBE_DMA_OS_AWCACHE;
2346 : :
2347 : : /* Read the port property registers */
2348 : 0 : pdata->pp0 = XP_IOREAD(pdata, XP_PROP_0);
2349 : 0 : pdata->pp1 = XP_IOREAD(pdata, XP_PROP_1);
2350 : 0 : pdata->pp2 = XP_IOREAD(pdata, XP_PROP_2);
2351 : 0 : pdata->pp3 = XP_IOREAD(pdata, XP_PROP_3);
2352 : 0 : pdata->pp4 = XP_IOREAD(pdata, XP_PROP_4);
2353 : :
2354 : : /* Set the maximum channels and queues */
2355 : 0 : pdata->tx_max_channel_count = XP_GET_BITS(pdata->pp1, XP_PROP_1, MAX_TX_DMA);
2356 : 0 : pdata->rx_max_channel_count = XP_GET_BITS(pdata->pp1, XP_PROP_1, MAX_RX_DMA);
2357 : 0 : pdata->tx_max_q_count = XP_GET_BITS(pdata->pp1, XP_PROP_1, MAX_TX_QUEUES);
2358 : 0 : pdata->rx_max_q_count = XP_GET_BITS(pdata->pp1, XP_PROP_1, MAX_RX_QUEUES);
2359 : :
2360 : : /* Set the hardware channel and queue counts */
2361 : 0 : axgbe_set_counts(pdata);
2362 : :
2363 : : /* Set the maximum fifo amounts */
2364 : 0 : pdata->tx_max_fifo_size = XP_GET_BITS(pdata->pp2, XP_PROP_2, TX_FIFO_SIZE);
2365 : 0 : pdata->tx_max_fifo_size *= 16384;
2366 : 0 : pdata->tx_max_fifo_size = RTE_MIN(pdata->tx_max_fifo_size,
2367 : : pdata->vdata->tx_max_fifo_size);
2368 : 0 : pdata->rx_max_fifo_size = XP_GET_BITS(pdata->pp2, XP_PROP_2, RX_FIFO_SIZE);
2369 : 0 : pdata->rx_max_fifo_size *= 16384;
2370 : 0 : pdata->rx_max_fifo_size = RTE_MIN(pdata->rx_max_fifo_size,
2371 : : pdata->vdata->rx_max_fifo_size);
2372 : : /* Issue software reset to DMA */
2373 : 0 : ret = pdata->hw_if.exit(pdata);
2374 [ # # ]: 0 : if (ret)
2375 : 0 : PMD_DRV_LOG(ERR, "hw_if->exit EBUSY error\n");
2376 : :
2377 : : /* Set default configuration data */
2378 : : axgbe_default_config(pdata);
2379 : :
2380 : : /* Set default max values if not provided */
2381 [ # # ]: 0 : if (!pdata->tx_max_fifo_size)
2382 : 0 : pdata->tx_max_fifo_size = pdata->hw_feat.tx_fifo_size;
2383 [ # # ]: 0 : if (!pdata->rx_max_fifo_size)
2384 : 0 : pdata->rx_max_fifo_size = pdata->hw_feat.rx_fifo_size;
2385 : :
2386 : 0 : pdata->tx_desc_count = AXGBE_MAX_RING_DESC;
2387 : 0 : pdata->rx_desc_count = AXGBE_MAX_RING_DESC;
2388 : 0 : pthread_mutex_init(&pdata->xpcs_mutex, NULL);
2389 : 0 : pthread_mutex_init(&pdata->i2c_mutex, NULL);
2390 : 0 : pthread_mutex_init(&pdata->an_mutex, NULL);
2391 : 0 : pthread_mutex_init(&pdata->phy_mutex, NULL);
2392 : :
2393 : 0 : ret = pdata->phy_if.phy_init(pdata);
2394 [ # # ]: 0 : if (ret) {
2395 : 0 : rte_free(eth_dev->data->mac_addrs);
2396 : 0 : eth_dev->data->mac_addrs = NULL;
2397 : 0 : return ret;
2398 : : }
2399 : :
2400 : 0 : rte_intr_callback_register(pci_dev->intr_handle,
2401 : : axgbe_dev_interrupt_handler,
2402 : : (void *)eth_dev);
2403 : 0 : PMD_INIT_LOG(DEBUG, "port %d vendorID=0x%x deviceID=0x%x",
2404 : : eth_dev->data->port_id, pci_dev->id.vendor_id,
2405 : : pci_dev->id.device_id);
2406 : :
2407 : 0 : return 0;
2408 : : }
2409 : :
2410 : : static int
2411 : 0 : axgbe_dev_close(struct rte_eth_dev *eth_dev)
2412 : : {
2413 : : struct rte_pci_device *pci_dev;
2414 : :
2415 : : PMD_INIT_FUNC_TRACE();
2416 : :
2417 [ # # ]: 0 : if (rte_eal_process_type() != RTE_PROC_PRIMARY)
2418 : : return 0;
2419 : :
2420 : 0 : pci_dev = RTE_DEV_TO_PCI(eth_dev->device);
2421 : 0 : axgbe_dev_clear_queues(eth_dev);
2422 : :
2423 : : /* disable uio intr before callback unregister */
2424 : 0 : rte_intr_disable(pci_dev->intr_handle);
2425 : 0 : rte_intr_callback_unregister(pci_dev->intr_handle,
2426 : : axgbe_dev_interrupt_handler,
2427 : : (void *)eth_dev);
2428 : :
2429 : 0 : return 0;
2430 : : }
2431 : :
2432 : 0 : static int eth_axgbe_pci_probe(struct rte_pci_driver *pci_drv __rte_unused,
2433 : : struct rte_pci_device *pci_dev)
2434 : : {
2435 : 0 : return rte_eth_dev_pci_generic_probe(pci_dev,
2436 : : sizeof(struct axgbe_port), eth_axgbe_dev_init);
2437 : : }
2438 : :
2439 : 0 : static int eth_axgbe_pci_remove(struct rte_pci_device *pci_dev)
2440 : : {
2441 : 0 : return rte_eth_dev_pci_generic_remove(pci_dev, axgbe_dev_close);
2442 : : }
2443 : :
2444 : : static struct rte_pci_driver rte_axgbe_pmd = {
2445 : : .id_table = pci_id_axgbe_map,
2446 : : .drv_flags = RTE_PCI_DRV_NEED_MAPPING,
2447 : : .probe = eth_axgbe_pci_probe,
2448 : : .remove = eth_axgbe_pci_remove,
2449 : : };
2450 : :
2451 : 238 : RTE_PMD_REGISTER_PCI(net_axgbe, rte_axgbe_pmd);
2452 : : RTE_PMD_REGISTER_PCI_TABLE(net_axgbe, pci_id_axgbe_map);
2453 : : RTE_PMD_REGISTER_KMOD_DEP(net_axgbe, "* igb_uio | uio_pci_generic | vfio-pci");
2454 [ - + ]: 238 : RTE_LOG_REGISTER_SUFFIX(axgbe_logtype_init, init, NOTICE);
2455 [ - + ]: 238 : RTE_LOG_REGISTER_SUFFIX(axgbe_logtype_driver, driver, NOTICE);
|