Branch data     Line data    Source code

       1                 :            : /* SPDX-License-Identifier: BSD-3-Clause
       2                 :            :  * Copyright(c) 2024 ZTE Corporation
       3                 :            :  */
       4                 :            : 
       5                 :            : #ifndef ZXDH_QUEUE_H
       6                 :            : #define ZXDH_QUEUE_H
       7                 :            : 
       8                 :            : #include <stdint.h>
       9                 :            : 
      10                 :            : #include <rte_common.h>
      11                 :            : #include <rte_atomic.h>
      12                 :            : 
      13                 :            : #include "zxdh_ethdev.h"
      14                 :            : #include "zxdh_rxtx.h"
      15                 :            : #include "zxdh_pci.h"
      16                 :            : 
      17                 :            : enum { ZXDH_VTNET_RQ = 0, ZXDH_VTNET_TQ = 1 };
      18                 :            : 
      19                 :            : #define ZXDH_VIRTQUEUE_MAX_NAME_SZ        32
      20                 :            : #define ZXDH_RQ_QUEUE_IDX                 0
      21                 :            : #define ZXDH_TQ_QUEUE_IDX                 1
      22                 :            : #define ZXDH_MAX_TX_INDIRECT              8
      23                 :            : 
      24                 :            : /* This marks a buffer as continuing via the next field. */
      25                 :            : #define ZXDH_VRING_DESC_F_NEXT                 1
      26                 :            : 
      27                 :            : /* This marks a buffer as write-only (otherwise read-only). */
      28                 :            : #define ZXDH_VRING_DESC_F_WRITE                2
      29                 :            : 
      30                 :            : /* This means the buffer contains a list of buffer descriptors. */
      31                 :            : #define ZXDH_VRING_DESC_F_INDIRECT             4
      32                 :            : 
      33                 :            : /* This flag means the descriptor was made available by the driver */
      34                 :            : #define ZXDH_VRING_PACKED_DESC_F_AVAIL   (1 << (7))
      35                 :            : #define ZXDH_VRING_PACKED_DESC_F_USED    (1 << (15))
      36                 :            : 
      37                 :            : /* Frequently used combinations */
      38                 :            : #define ZXDH_VRING_PACKED_DESC_F_AVAIL_USED \
      39                 :            :                 (ZXDH_VRING_PACKED_DESC_F_AVAIL | ZXDH_VRING_PACKED_DESC_F_USED)
      40                 :            : 
      41                 :            : #define ZXDH_RING_EVENT_FLAGS_ENABLE      0x0
      42                 :            : #define ZXDH_RING_EVENT_FLAGS_DISABLE     0x1
      43                 :            : #define ZXDH_RING_EVENT_FLAGS_DESC        0x2
      44                 :            : 
      45                 :            : #define ZXDH_RING_F_INDIRECT_DESC         28
      46                 :            : 
      47                 :            : #define ZXDH_VQ_RING_DESC_CHAIN_END       32768
      48                 :            : #define ZXDH_QUEUE_DEPTH                  1024
      49                 :            : 
      50                 :            : #define ZXDH_RQ_QUEUE_IDX                 0
      51                 :            : #define ZXDH_TQ_QUEUE_IDX                 1
      52                 :            : #define ZXDH_TYPE_HDR_SIZE        sizeof(struct zxdh_type_hdr)
      53                 :            : #define ZXDH_PI_HDR_SIZE          sizeof(struct zxdh_pi_hdr)
      54                 :            : #define ZXDH_DL_NET_HDR_SIZE      sizeof(struct zxdh_net_hdr_dl)
      55                 :            : #define ZXDH_UL_NET_HDR_SIZE      sizeof(struct zxdh_net_hdr_ul)
      56                 :            : #define ZXDH_PD_HDR_SIZE_MAX              256
      57                 :            : #define ZXDH_PD_HDR_SIZE_MIN              ZXDH_TYPE_HDR_SIZE
      58                 :            : 
      59                 :            : /*
      60                 :            :  * ring descriptors: 16 bytes.
      61                 :            :  * These can chain together via "next".
      62                 :            :  */
      63                 :            : struct zxdh_vring_desc {
      64                 :            :         uint64_t addr;  /*  Address (guest-physical). */
      65                 :            :         uint32_t len;   /* Length. */
      66                 :            :         uint16_t flags; /* The flags as indicated above. */
      67                 :            :         uint16_t next;  /* We chain unused descriptors via this. */
      68                 :            : };
      69                 :            : 
      70                 :            : struct zxdh_vring_used_elem {
      71                 :            :         /* Index of start of used descriptor chain. */
      72                 :            :         uint32_t id;
      73                 :            :         /* Total length of the descriptor chain which was written to. */
      74                 :            :         uint32_t len;
      75                 :            : };
      76                 :            : 
      77                 :            : struct zxdh_vring_used {
      78                 :            :         uint16_t flags;
      79                 :            :         uint16_t idx;
      80                 :            :         struct zxdh_vring_used_elem ring[];
      81                 :            : };
      82                 :            : 
      83                 :            : struct zxdh_vring_avail {
      84                 :            :         uint16_t flags;
      85                 :            :         uint16_t idx;
      86                 :            :         uint16_t ring[];
      87                 :            : };
      88                 :            : 
      89                 :            : struct zxdh_vring_packed_desc {
      90                 :            :         uint64_t addr;
      91                 :            :         uint32_t len;
      92                 :            :         uint16_t id;
      93                 :            :         uint16_t flags;
      94                 :            : };
      95                 :            : 
      96                 :            : struct zxdh_vring_packed_desc_event {
      97                 :            :         uint16_t desc_event_off_wrap;
      98                 :            :         uint16_t desc_event_flags;
      99                 :            : };
     100                 :            : 
     101                 :            : struct zxdh_vring_packed {
     102                 :            :         uint32_t num;
     103                 :            :         struct zxdh_vring_packed_desc *desc;
     104                 :            :         struct zxdh_vring_packed_desc_event *driver;
     105                 :            :         struct zxdh_vring_packed_desc_event *device;
     106                 :            : };
     107                 :            : 
     108                 :            : struct zxdh_vq_desc_extra {
     109                 :            :         void *cookie;
     110                 :            :         uint16_t ndescs;
     111                 :            :         uint16_t next;
     112                 :            : };
     113                 :            : 
     114                 :            : struct zxdh_virtqueue {
     115                 :            :         struct zxdh_hw  *hw; /* < zxdh_hw structure pointer. */
     116                 :            : 
     117                 :            :         struct {
     118                 :            :                 /* vring keeping descs and events */
     119                 :            :                 struct zxdh_vring_packed ring;
     120                 :            :                 uint8_t used_wrap_counter;
     121                 :            :                 uint8_t rsv;
     122                 :            :                 uint16_t cached_flags; /* < cached flags for descs */
     123                 :            :                 uint16_t event_flags_shadow;
     124                 :            :                 uint16_t rsv1;
     125                 :            :         } vq_packed;
     126                 :            : 
     127                 :            :         uint16_t vq_used_cons_idx; /* < last consumed descriptor */
     128                 :            :         uint16_t vq_nentries;  /* < vring desc numbers */
     129                 :            :         uint16_t vq_free_cnt;  /* < num of desc available */
     130                 :            :         uint16_t vq_avail_idx; /* < sync until needed */
     131                 :            :         uint16_t vq_free_thresh; /* < free threshold */
     132                 :            :         uint16_t rsv2;
     133                 :            : 
     134                 :            :         void *vq_ring_virt_mem;  /* < linear address of vring */
     135                 :            :         uint32_t vq_ring_size;
     136                 :            : 
     137                 :            :         union {
     138                 :            :                 struct zxdh_virtnet_rx rxq;
     139                 :            :                 struct zxdh_virtnet_tx txq;
     140                 :            :         };
     141                 :            : 
     142                 :            :         /*
     143                 :            :          * physical address of vring, or virtual address
     144                 :            :          */
     145                 :            :         rte_iova_t vq_ring_mem;
     146                 :            : 
     147                 :            :         /*
     148                 :            :          * Head of the free chain in the descriptor table. If
     149                 :            :          * there are no free descriptors, this will be set to
     150                 :            :          * VQ_RING_DESC_CHAIN_END.
     151                 :            :          */
     152                 :            :         uint16_t  vq_desc_head_idx;
     153                 :            :         uint16_t  vq_desc_tail_idx;
     154                 :            :         uint16_t  vq_queue_index;   /* < PCI queue index */
     155                 :            :         uint16_t  offset; /* < relative offset to obtain addr in mbuf */
     156                 :            :         uint16_t *notify_addr;
     157                 :            :         struct rte_mbuf **sw_ring;  /* < RX software ring. */
     158                 :            :         struct zxdh_vq_desc_extra vq_descx[];
     159                 :            : };
     160                 :            : 
     161                 :            : struct __rte_packed_begin zxdh_type_hdr {
     162                 :            :         uint8_t port;  /* bit[0:1] 00-np 01-DRS 10-DTP */
     163                 :            :         uint8_t pd_len;
     164                 :            :         uint8_t num_buffers;
     165                 :            :         uint8_t reserved;
     166                 :            : } __rte_packed_end;
     167                 :            : 
     168                 :            : struct __rte_packed_begin zxdh_pi_hdr {
     169                 :            :         uint8_t  pi_len;
     170                 :            :         uint8_t  pkt_type;
     171                 :            :         uint16_t vlan_id;
     172                 :            :         uint32_t ipv6_extend;
     173                 :            :         uint16_t l3_offset;
     174                 :            :         uint16_t l4_offset;
     175                 :            :         uint8_t  phy_port;
     176                 :            :         uint8_t  pkt_flag_hi8;
     177                 :            :         uint16_t pkt_flag_lw16;
     178                 :            :         union {
     179                 :            :                 struct {
     180                 :            :                         uint64_t sa_idx;
     181                 :            :                         uint8_t  reserved_8[8];
     182                 :            :                 } dl;
     183                 :            :                 struct {
     184                 :            :                         uint32_t lro_flag;
     185                 :            :                         uint32_t lro_mss;
     186                 :            :                         uint16_t err_code;
     187                 :            :                         uint16_t pm_id;
     188                 :            :                         uint16_t pkt_len;
     189                 :            :                         uint8_t  reserved[2];
     190                 :            :                 } ul;
     191                 :            :         };
     192                 :            : } __rte_packed_end; /* 32B */
     193                 :            : 
     194                 :            : struct __rte_packed_begin zxdh_pd_hdr_dl {
     195                 :            :         uint32_t ol_flag;
     196                 :            :         uint8_t tag_idx;
     197                 :            :         uint8_t tag_data;
     198                 :            :         uint16_t dst_vfid;
     199                 :            :         uint32_t svlan_insert;
     200                 :            :         uint32_t cvlan_insert;
     201                 :            : } __rte_packed_end; /* 16B */
     202                 :            : 
     203                 :            : struct __rte_packed_begin zxdh_net_hdr_dl {
     204                 :            :         struct zxdh_type_hdr  type_hdr; /* 4B */
     205                 :            :         struct zxdh_pi_hdr    pi_hdr; /* 32B */
     206                 :            :         struct zxdh_pd_hdr_dl pd_hdr; /* 16B */
     207                 :            : } __rte_packed_end;
     208                 :            : 
     209                 :            : struct __rte_packed_begin zxdh_pd_hdr_ul {
     210                 :            :         uint32_t pkt_flag;
     211                 :            :         uint32_t rss_hash;
     212                 :            :         uint32_t fd;
     213                 :            :         uint32_t striped_vlan_tci;
     214                 :            :         uint8_t tag_idx;
     215                 :            :         uint8_t tag_data;
     216                 :            :         uint16_t src_vfid;
     217                 :            :         uint16_t pkt_type_out;
     218                 :            :         uint16_t pkt_type_in;
     219                 :            : } __rte_packed_end; /* 24B */
     220                 :            : 
     221                 :            : struct __rte_packed_begin zxdh_net_hdr_ul {
     222                 :            :         struct zxdh_type_hdr  type_hdr; /* 4B */
     223                 :            :         struct zxdh_pi_hdr    pi_hdr; /* 32B */
     224                 :            :         struct zxdh_pd_hdr_ul pd_hdr; /* 24B */
     225                 :            : } __rte_packed_end; /* 60B */
     226                 :            : 
     227                 :            : 
     228                 :            : struct zxdh_tx_region {
     229                 :            :         struct zxdh_net_hdr_dl tx_hdr;
     230                 :            :         union {
     231                 :            :                 struct zxdh_vring_desc tx_indir[ZXDH_MAX_TX_INDIRECT];
     232                 :            :                 struct zxdh_vring_packed_desc tx_packed_indir[ZXDH_MAX_TX_INDIRECT];
     233                 :            :         };
     234                 :            : };
     235                 :            : 
     236                 :            : static inline size_t
     237         [ #  # ]:          0 : zxdh_vring_size(struct zxdh_hw *hw, uint32_t num, unsigned long align)
     238                 :            : {
     239                 :            :         size_t size;
     240                 :            : 
     241         [ #  # ]:          0 :         if (zxdh_pci_packed_queue(hw)) {
     242                 :          0 :                 size = num * sizeof(struct zxdh_vring_packed_desc);
     243                 :          0 :                 size += sizeof(struct zxdh_vring_packed_desc_event);
     244                 :          0 :                 size = RTE_ALIGN_CEIL(size, align);
     245                 :          0 :                 size += sizeof(struct zxdh_vring_packed_desc_event);
     246                 :          0 :                 return size;
     247                 :            :         }
     248                 :            : 
     249                 :          0 :         size = num * sizeof(struct zxdh_vring_desc);
     250                 :          0 :         size += sizeof(struct zxdh_vring_avail) + (num * sizeof(uint16_t));
     251                 :          0 :         size = RTE_ALIGN_CEIL(size, align);
     252                 :          0 :         size += sizeof(struct zxdh_vring_used) + (num * sizeof(struct zxdh_vring_used_elem));
     253                 :          0 :         return size;
     254                 :            : }
     255                 :            : 
     256                 :            : static inline void
     257                 :            : zxdh_vring_init_packed(struct zxdh_vring_packed *vr, uint8_t *p,
     258                 :            :                 unsigned long align, uint32_t num)
     259                 :            : {
     260                 :          0 :         vr->num    = num;
     261                 :          0 :         vr->desc   = (struct zxdh_vring_packed_desc *)p;
     262                 :          0 :         vr->driver = (struct zxdh_vring_packed_desc_event *)(p +
     263                 :          0 :                                  vr->num * sizeof(struct zxdh_vring_packed_desc));
     264                 :          0 :         vr->device = (struct zxdh_vring_packed_desc_event *)RTE_ALIGN_CEIL(((uintptr_t)vr->driver +
     265                 :            :                                  sizeof(struct zxdh_vring_packed_desc_event)), align);
     266                 :          0 : }
     267                 :            : 
     268                 :            : static inline void
     269                 :            : zxdh_vring_desc_init_packed(struct zxdh_virtqueue *vq, int32_t n)
     270                 :            : {
     271                 :            :         int32_t i = 0;
     272                 :            : 
     273         [ #  # ]:          0 :         for (i = 0; i < n - 1; i++) {
     274                 :          0 :                 vq->vq_packed.ring.desc[i].id = i;
     275                 :          0 :                 vq->vq_descx[i].next = i + 1;
     276                 :            :         }
     277                 :          0 :         vq->vq_packed.ring.desc[i].id = i;
     278                 :          0 :         vq->vq_descx[i].next = ZXDH_VQ_RING_DESC_CHAIN_END;
     279                 :            : }
     280                 :            : 
     281                 :            : static inline void
     282                 :            : zxdh_vring_desc_init_indirect_packed(struct zxdh_vring_packed_desc *dp, int32_t n)
     283                 :            : {
     284                 :            :         int32_t i = 0;
     285                 :            : 
     286         [ #  # ]:          0 :         for (i = 0; i < n; i++) {
     287                 :          0 :                 dp[i].id = (uint16_t)i;
     288                 :          0 :                 dp[i].flags = ZXDH_VRING_DESC_F_WRITE;
     289                 :            :         }
     290                 :            : }
     291                 :            : 
     292                 :            : static inline void
     293                 :            : zxdh_queue_disable_intr(struct zxdh_virtqueue *vq)
     294                 :            : {
     295         [ #  # ]:          0 :         if (vq->vq_packed.event_flags_shadow != ZXDH_RING_EVENT_FLAGS_DISABLE) {
     296                 :          0 :                 vq->vq_packed.event_flags_shadow = ZXDH_RING_EVENT_FLAGS_DISABLE;
     297                 :          0 :                 vq->vq_packed.ring.driver->desc_event_flags = vq->vq_packed.event_flags_shadow;
     298                 :            :         }
     299                 :            : }
     300                 :            : 
     301                 :            : static inline void
     302                 :            : zxdh_queue_enable_intr(struct zxdh_virtqueue *vq)
     303                 :            : {
     304         [ #  # ]:          0 :         if (vq->vq_packed.event_flags_shadow == ZXDH_RING_EVENT_FLAGS_DISABLE) {
     305                 :          0 :                 vq->vq_packed.event_flags_shadow = ZXDH_RING_EVENT_FLAGS_DISABLE;
     306                 :          0 :                 vq->vq_packed.ring.driver->desc_event_flags = vq->vq_packed.event_flags_shadow;
     307                 :            :         }
     308                 :            : }
     309                 :            : 
     310                 :            : static inline void
     311                 :            : zxdh_mb(uint8_t weak_barriers)
     312                 :            : {
     313         [ #  # ]:          0 :         if (weak_barriers)
     314                 :            :                 rte_atomic_thread_fence(rte_memory_order_seq_cst);
     315                 :            :         else
     316                 :            :                 rte_mb();
     317                 :            : }
     318                 :            : 
     319                 :            : static inline int32_t
     320                 :            : zxdh_queue_full(const struct zxdh_virtqueue *vq)
     321                 :            : {
     322         [ #  # ]:          0 :         return (vq->vq_free_cnt == 0);
     323                 :            : }
     324                 :            : 
     325                 :            : static inline void
     326                 :            : zxdh_queue_store_flags_packed(struct zxdh_vring_packed_desc *dp,
     327                 :            :                 uint16_t flags, uint8_t weak_barriers)
     328                 :            :         {
     329   [ #  #  #  # ]:          0 :         if (weak_barriers) {
     330                 :            :         #ifdef RTE_ARCH_X86_64
     331                 :          0 :                 rte_io_wmb();
     332                 :          0 :                 dp->flags = flags;
     333                 :            :         #else
     334                 :            :                 rte_atomic_store_explicit(&dp->flags, flags, rte_memory_order_release);
     335                 :            :         #endif
     336                 :            :         } else {
     337                 :          0 :                 rte_io_wmb();
     338                 :          0 :                 dp->flags = flags;
     339                 :            :         }
     340                 :            : }
     341                 :            : 
     342                 :            : static inline uint16_t
     343                 :            : zxdh_queue_fetch_flags_packed(struct zxdh_vring_packed_desc *dp,
     344                 :            :                 uint8_t weak_barriers)
     345                 :            :         {
     346                 :            :         uint16_t flags;
     347                 :          0 :         if (weak_barriers) {
     348                 :            :         #ifdef RTE_ARCH_X86_64
     349                 :          0 :                 flags = dp->flags;
     350                 :          0 :                 rte_io_rmb();
     351                 :            :         #else
     352                 :            :                 flags = rte_atomic_load_explicit(&dp->flags, rte_memory_order_acquire);
     353                 :            :         #endif
     354                 :            :         } else {
     355                 :          0 :                 flags = dp->flags;
     356                 :          0 :                 rte_io_rmb();
     357                 :            :         }
     358                 :            : 
     359                 :            :         return flags;
     360                 :            : }
     361                 :            : 
     362                 :            : static inline int32_t
     363                 :            : zxdh_desc_used(struct zxdh_vring_packed_desc *desc, struct zxdh_virtqueue *vq)
     364                 :            : {
     365   [ #  #  #  #  :          0 :         uint16_t flags = zxdh_queue_fetch_flags_packed(desc, vq->hw->weak_barriers);
                   #  # ]
     366                 :          0 :         uint16_t used = !!(flags & ZXDH_VRING_PACKED_DESC_F_USED);
     367                 :          0 :         uint16_t avail = !!(flags & ZXDH_VRING_PACKED_DESC_F_AVAIL);
     368   [ #  #  #  #  :          0 :         return avail == used && used == vq->vq_packed.used_wrap_counter;
          #  #  #  #  #  
                #  #  # ]
     369                 :            : }
     370                 :            : 
     371                 :            : static inline void zxdh_queue_notify(struct zxdh_virtqueue *vq)
     372                 :            : {
     373                 :          0 :         ZXDH_VTPCI_OPS(vq->hw)->notify_queue(vq->hw, vq);
     374                 :            : }
     375                 :            : 
     376                 :            : static inline int32_t
     377                 :            : zxdh_queue_kick_prepare_packed(struct zxdh_virtqueue *vq)
     378                 :            : {
     379                 :            :         uint16_t flags = 0;
     380                 :            : 
     381   [ #  #  #  # ]:          0 :         zxdh_mb(vq->hw->weak_barriers);
     382                 :          0 :         flags = vq->vq_packed.ring.device->desc_event_flags;
     383                 :            : 
     384   [ #  #  #  # ]:          0 :         return (flags != ZXDH_RING_EVENT_FLAGS_DISABLE);
     385                 :            : }
     386                 :            : 
     387                 :            : struct rte_mbuf *zxdh_queue_detach_unused(struct zxdh_virtqueue *vq);
     388                 :            : int32_t zxdh_free_queues(struct rte_eth_dev *dev);
     389                 :            : int32_t zxdh_get_queue_type(uint16_t vtpci_queue_idx);
     390                 :            : int32_t zxdh_dev_tx_queue_setup(struct rte_eth_dev *dev,
     391                 :            :                         uint16_t queue_idx,
     392                 :            :                         uint16_t nb_desc,
     393                 :            :                         uint32_t socket_id __rte_unused,
     394                 :            :                         const struct rte_eth_txconf *tx_conf);
     395                 :            : int32_t zxdh_dev_rx_queue_setup(struct rte_eth_dev *dev,
     396                 :            :                         uint16_t queue_idx,
     397                 :            :                         uint16_t nb_desc,
     398                 :            :                         uint32_t socket_id __rte_unused,
     399                 :            :                         const struct rte_eth_rxconf *rx_conf,
     400                 :            :                         struct rte_mempool *mp);
     401                 :            : int32_t zxdh_dev_rx_queue_intr_disable(struct rte_eth_dev *dev, uint16_t queue_id);
     402                 :            : int32_t zxdh_dev_rx_queue_intr_enable(struct rte_eth_dev *dev, uint16_t queue_id);
     403                 :            : int32_t zxdh_dev_rx_queue_setup_finish(struct rte_eth_dev *dev, uint16_t logic_qidx);
     404                 :            : void zxdh_queue_rxvq_flush(struct zxdh_virtqueue *vq);
     405                 :            : int32_t zxdh_enqueue_recv_refill_packed(struct zxdh_virtqueue *vq,
     406                 :            :                         struct rte_mbuf **cookie, uint16_t num);
     407                 :            : 
     408                 :            : #endif /* ZXDH_QUEUE_H */