LCOV - code coverage report
Current view: top level - lib/ring - rte_ring.c (source / functions) Hit Total Coverage
Test: Code coverage Lines: 145 256 56.6 %
Date: 2025-05-01 17:49:45 Functions: 15 23 65.2 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 63 129 48.8 %

           Branch data     Line data    Source code
       1                 :            : /* SPDX-License-Identifier: BSD-3-Clause
       2                 :            :  *
       3                 :            :  * Copyright (c) 2010-2015 Intel Corporation
       4                 :            :  * Copyright (c) 2007,2008 Kip Macy kmacy@freebsd.org
       5                 :            :  * All rights reserved.
       6                 :            :  * Derived from FreeBSD's bufring.h
       7                 :            :  * Used as BSD-3 Licensed with permission from Kip Macy.
       8                 :            :  */
       9                 :            : 
      10                 :            : #include <stdalign.h>
      11                 :            : #include <stdio.h>
      12                 :            : #include <string.h>
      13                 :            : #include <stdint.h>
      14                 :            : #include <inttypes.h>
      15                 :            : #include <errno.h>
      16                 :            : #include <sys/queue.h>
      17                 :            : 
      18                 :            : #include <eal_export.h>
      19                 :            : #include <rte_common.h>
      20                 :            : #include <rte_log.h>
      21                 :            : #include <rte_memzone.h>
      22                 :            : #include <rte_malloc.h>
      23                 :            : #include <rte_eal_memconfig.h>
      24                 :            : #include <rte_errno.h>
      25                 :            : #include <rte_string_fns.h>
      26                 :            : #include <rte_tailq.h>
      27                 :            : #include <rte_telemetry.h>
      28                 :            : 
      29                 :            : #include "rte_ring.h"
      30                 :            : #include "rte_ring_elem.h"
      31                 :            : 
      32         [ -  + ]:        252 : RTE_LOG_REGISTER_DEFAULT(ring_logtype, INFO);
      33                 :            : #define RTE_LOGTYPE_RING ring_logtype
      34                 :            : #define RING_LOG(level, ...) \
      35                 :            :         RTE_LOG_LINE(level, RING, "" __VA_ARGS__)
      36                 :            : 
      37                 :            : TAILQ_HEAD(rte_ring_list, rte_tailq_entry);
      38                 :            : 
      39                 :            : static struct rte_tailq_elem rte_ring_tailq = {
      40                 :            :         .name = RTE_TAILQ_RING_NAME,
      41                 :            : };
      42         [ -  + ]:        252 : EAL_REGISTER_TAILQ(rte_ring_tailq)
      43                 :            : 
      44                 :            : /* mask of all valid flag values to ring_create() */
      45                 :            : #define RING_F_MASK (RING_F_SP_ENQ | RING_F_SC_DEQ | RING_F_EXACT_SZ | \
      46                 :            :                      RING_F_MP_RTS_ENQ | RING_F_MC_RTS_DEQ |           \
      47                 :            :                      RING_F_MP_HTS_ENQ | RING_F_MC_HTS_DEQ)
      48                 :            : 
      49                 :            : /* true if x is a power of 2 */
      50                 :            : #define POWEROF2(x) ((((x)-1) & (x)) == 0)
      51                 :            : 
      52                 :            : /* by default set head/tail distance as 1/8 of ring capacity */
      53                 :            : #define HTD_MAX_DEF     8
      54                 :            : 
      55                 :            : /* return the size of memory occupied by a ring */
      56                 :            : RTE_EXPORT_SYMBOL(rte_ring_get_memsize_elem)
      57                 :            : ssize_t
      58                 :       4644 : rte_ring_get_memsize_elem(unsigned int esize, unsigned int count)
      59                 :            : {
      60                 :            :         ssize_t sz;
      61                 :            : 
      62                 :            :         /* Check if element size is a multiple of 4B */
      63         [ +  + ]:       4644 :         if (esize % 4 != 0) {
      64                 :          1 :                 RING_LOG(ERR, "element size is not a multiple of 4");
      65                 :            : 
      66                 :          1 :                 return -EINVAL;
      67                 :            :         }
      68                 :            : 
      69                 :            :         /* count must be a power of 2 */
      70   [ +  +  +  + ]:       4643 :         if ((!POWEROF2(count)) || (count > RTE_RING_SZ_MASK )) {
      71                 :         18 :                 RING_LOG(ERR,
      72                 :            :                         "Requested number of elements is invalid, must be power of 2, and not exceed %u",
      73                 :            :                         RTE_RING_SZ_MASK);
      74                 :            : 
      75                 :         18 :                 return -EINVAL;
      76                 :            :         }
      77                 :            : 
      78                 :       4625 :         sz = sizeof(struct rte_ring) + (ssize_t)count * esize;
      79                 :       4625 :         sz = RTE_ALIGN(sz, RTE_CACHE_LINE_SIZE);
      80                 :       4625 :         return sz;
      81                 :            : }
      82                 :            : 
      83                 :            : /* return the size of memory occupied by a ring */
      84                 :            : RTE_EXPORT_SYMBOL(rte_ring_get_memsize)
      85                 :            : ssize_t
      86                 :          0 : rte_ring_get_memsize(unsigned int count)
      87                 :            : {
      88                 :          0 :         return rte_ring_get_memsize_elem(sizeof(void *), count);
      89                 :            : }
      90                 :            : 
      91                 :            : /*
      92                 :            :  * internal helper function to reset prod/cons head-tail values.
      93                 :            :  */
      94                 :            : static void
      95                 :            : reset_headtail(void *p)
      96                 :            : {
      97                 :            :         struct rte_ring_headtail *ht;
      98                 :            :         struct rte_ring_hts_headtail *ht_hts;
      99                 :            :         struct rte_ring_rts_headtail *ht_rts;
     100                 :            : 
     101                 :            :         ht = p;
     102                 :            :         ht_hts = p;
     103                 :            :         ht_rts = p;
     104                 :            : 
     105                 :         40 :         switch (ht->sync_type) {
     106                 :         40 :         case RTE_RING_SYNC_MT:
     107                 :            :         case RTE_RING_SYNC_ST:
     108                 :         40 :                 ht->head = 0;
     109                 :         40 :                 ht->tail = 0;
     110                 :         40 :                 break;
     111                 :          0 :         case RTE_RING_SYNC_MT_RTS:
     112                 :          0 :                 ht_rts->head.raw = 0;
     113                 :          0 :                 ht_rts->tail.raw = 0;
     114                 :          0 :                 break;
     115                 :          0 :         case RTE_RING_SYNC_MT_HTS:
     116                 :          0 :                 ht_hts->ht.raw = 0;
     117                 :          0 :                 break;
     118   [ +  -  -  - ]:         20 :         default:
     119                 :            :                 /* unknown sync mode */
     120                 :            :                 RTE_ASSERT(0);
     121                 :            :         }
     122                 :            : }
     123                 :            : 
     124                 :            : RTE_EXPORT_SYMBOL(rte_ring_reset)
     125                 :            : void
     126   [ +  -  -  - ]:         20 : rte_ring_reset(struct rte_ring *r)
     127                 :            : {
     128                 :            :         reset_headtail(&r->prod);
     129                 :            :         reset_headtail(&r->cons);
     130                 :         20 : }
     131                 :            : 
     132                 :            : /*
     133                 :            :  * helper function, calculates sync_type values for prod and cons
     134                 :            :  * based on input flags. Returns zero at success or negative
     135                 :            :  * errno value otherwise.
     136                 :            :  */
     137                 :            : static int
     138                 :       4602 : get_sync_type(uint32_t flags, enum rte_ring_sync_type *prod_st,
     139                 :            :         enum rte_ring_sync_type *cons_st)
     140                 :            : {
     141                 :            :         static const uint32_t prod_st_flags =
     142                 :            :                 (RING_F_SP_ENQ | RING_F_MP_RTS_ENQ | RING_F_MP_HTS_ENQ);
     143                 :            :         static const uint32_t cons_st_flags =
     144                 :            :                 (RING_F_SC_DEQ | RING_F_MC_RTS_DEQ | RING_F_MC_HTS_DEQ);
     145                 :            : 
     146   [ +  +  +  +  :       4602 :         switch (flags & prod_st_flags) {
                      - ]
     147                 :        351 :         case 0:
     148                 :        351 :                 *prod_st = RTE_RING_SYNC_MT;
     149                 :        351 :                 break;
     150                 :       4119 :         case RING_F_SP_ENQ:
     151                 :       4119 :                 *prod_st = RTE_RING_SYNC_ST;
     152                 :       4119 :                 break;
     153                 :         52 :         case RING_F_MP_RTS_ENQ:
     154                 :         52 :                 *prod_st = RTE_RING_SYNC_MT_RTS;
     155                 :         52 :                 break;
     156                 :         80 :         case RING_F_MP_HTS_ENQ:
     157                 :         80 :                 *prod_st = RTE_RING_SYNC_MT_HTS;
     158                 :         80 :                 break;
     159                 :            :         default:
     160                 :            :                 return -EINVAL;
     161                 :            :         }
     162                 :            : 
     163   [ +  +  +  +  :       4602 :         switch (flags & cons_st_flags) {
                      - ]
     164                 :        352 :         case 0:
     165                 :        352 :                 *cons_st = RTE_RING_SYNC_MT;
     166                 :        352 :                 break;
     167                 :       4115 :         case RING_F_SC_DEQ:
     168                 :       4115 :                 *cons_st = RTE_RING_SYNC_ST;
     169                 :       4115 :                 break;
     170                 :         40 :         case RING_F_MC_RTS_DEQ:
     171                 :         40 :                 *cons_st = RTE_RING_SYNC_MT_RTS;
     172                 :         40 :                 break;
     173                 :         95 :         case RING_F_MC_HTS_DEQ:
     174                 :         95 :                 *cons_st = RTE_RING_SYNC_MT_HTS;
     175                 :         95 :                 break;
     176                 :            :         default:
     177                 :            :                 return -EINVAL;
     178                 :            :         }
     179                 :            : 
     180                 :            :         return 0;
     181                 :            : }
     182                 :            : 
     183                 :            : RTE_EXPORT_SYMBOL(rte_ring_init)
     184                 :            : int
     185                 :       4602 : rte_ring_init(struct rte_ring *r, const char *name, unsigned int count,
     186                 :            :         unsigned int flags)
     187                 :            : {
     188                 :            :         int ret;
     189                 :            : 
     190                 :            :         /* compilation-time checks */
     191                 :            :         RTE_BUILD_BUG_ON((sizeof(struct rte_ring) &
     192                 :            :                           RTE_CACHE_LINE_MASK) != 0);
     193                 :            :         RTE_BUILD_BUG_ON((offsetof(struct rte_ring, cons) &
     194                 :            :                           RTE_CACHE_LINE_MASK) != 0);
     195                 :            :         RTE_BUILD_BUG_ON((offsetof(struct rte_ring, prod) &
     196                 :            :                           RTE_CACHE_LINE_MASK) != 0);
     197                 :            : 
     198                 :            :         RTE_BUILD_BUG_ON(offsetof(struct rte_ring_headtail, sync_type) !=
     199                 :            :                 offsetof(struct rte_ring_hts_headtail, sync_type));
     200                 :            :         RTE_BUILD_BUG_ON(offsetof(struct rte_ring_headtail, tail) !=
     201                 :            :                 offsetof(struct rte_ring_hts_headtail, ht.pos.tail));
     202                 :            : 
     203                 :            :         RTE_BUILD_BUG_ON(offsetof(struct rte_ring_headtail, sync_type) !=
     204                 :            :                 offsetof(struct rte_ring_rts_headtail, sync_type));
     205                 :            :         RTE_BUILD_BUG_ON(offsetof(struct rte_ring_headtail, tail) !=
     206                 :            :                 offsetof(struct rte_ring_rts_headtail, tail.val.pos));
     207                 :            : 
     208                 :            :         /* future proof flags, only allow supported values */
     209         [ -  + ]:       4602 :         if (flags & ~RING_F_MASK) {
     210                 :          0 :                 RING_LOG(ERR,
     211                 :            :                         "Unsupported flags requested %#x", flags);
     212                 :          0 :                 return -EINVAL;
     213                 :            :         }
     214                 :            : 
     215                 :            :         /* init the ring structure */
     216                 :            :         memset(r, 0, sizeof(*r));
     217         [ +  - ]:       4602 :         ret = strlcpy(r->name, name, sizeof(r->name));
     218         [ +  - ]:       4602 :         if (ret < 0 || ret >= (int)sizeof(r->name))
     219                 :            :                 return -ENAMETOOLONG;
     220                 :       4602 :         r->flags = flags;
     221                 :       4602 :         ret = get_sync_type(flags, &r->prod.sync_type, &r->cons.sync_type);
     222         [ +  - ]:       4602 :         if (ret != 0)
     223                 :            :                 return ret;
     224                 :            : 
     225         [ +  + ]:       4602 :         if (flags & RING_F_EXACT_SZ) {
     226                 :        238 :                 r->size = rte_align32pow2(count + 1);
     227                 :        238 :                 r->mask = r->size - 1;
     228                 :        238 :                 r->capacity = count;
     229                 :            :         } else {
     230   [ +  -  -  + ]:       4364 :                 if ((!POWEROF2(count)) || (count > RTE_RING_SZ_MASK)) {
     231                 :          0 :                         RING_LOG(ERR,
     232                 :            :                                 "Requested size is invalid, must be power of 2, and not exceed the size limit %u",
     233                 :            :                                 RTE_RING_SZ_MASK);
     234                 :          0 :                         return -EINVAL;
     235                 :            :                 }
     236                 :       4364 :                 r->size = count;
     237                 :       4364 :                 r->mask = count - 1;
     238                 :       4364 :                 r->capacity = r->mask;
     239                 :            :         }
     240                 :            : 
     241                 :            :         /* set default values for head-tail distance */
     242         [ +  + ]:       4602 :         if (flags & RING_F_MP_RTS_ENQ)
     243         [ +  - ]:         52 :                 rte_ring_set_prod_htd_max(r, r->capacity / HTD_MAX_DEF);
     244         [ +  + ]:       4602 :         if (flags & RING_F_MC_RTS_DEQ)
     245         [ +  - ]:         40 :                 rte_ring_set_cons_htd_max(r, r->capacity / HTD_MAX_DEF);
     246                 :            : 
     247                 :            :         return 0;
     248                 :            : }
     249                 :            : 
     250                 :            : /* create the ring for a given element size */
     251                 :            : RTE_EXPORT_SYMBOL(rte_ring_create_elem)
     252                 :            : struct rte_ring *
     253                 :       4644 : rte_ring_create_elem(const char *name, unsigned int esize, unsigned int count,
     254                 :            :                 int socket_id, unsigned int flags)
     255                 :            : {
     256                 :            :         char mz_name[RTE_MEMZONE_NAMESIZE];
     257                 :            :         struct rte_ring *r;
     258                 :            :         struct rte_tailq_entry *te;
     259                 :            :         const struct rte_memzone *mz;
     260                 :            :         ssize_t ring_size;
     261                 :            :         int mz_flags = 0;
     262                 :            :         struct rte_ring_list* ring_list = NULL;
     263                 :            :         const unsigned int requested_count = count;
     264                 :            :         int ret;
     265                 :            : 
     266                 :       4644 :         ring_list = RTE_TAILQ_CAST(rte_ring_tailq.head, rte_ring_list);
     267                 :            : 
     268                 :            :         /* for an exact size ring, round up from count to a power of two */
     269         [ +  + ]:       4644 :         if (flags & RING_F_EXACT_SZ)
     270                 :            :                 count = rte_align32pow2(count + 1);
     271                 :            : 
     272                 :       4644 :         ring_size = rte_ring_get_memsize_elem(esize, count);
     273         [ +  + ]:       4644 :         if (ring_size < 0) {
     274                 :         19 :                 rte_errno = -ring_size;
     275                 :         19 :                 return NULL;
     276                 :            :         }
     277                 :            : 
     278                 :            :         ret = snprintf(mz_name, sizeof(mz_name), "%s%s",
     279                 :            :                 RTE_RING_MZ_PREFIX, name);
     280         [ -  + ]:       4625 :         if (ret < 0 || ret >= (int)sizeof(mz_name)) {
     281                 :          0 :                 rte_errno = ENAMETOOLONG;
     282                 :          0 :                 return NULL;
     283                 :            :         }
     284                 :            : 
     285                 :       4625 :         te = rte_zmalloc("RING_TAILQ_ENTRY", sizeof(*te), 0);
     286         [ -  + ]:       4625 :         if (te == NULL) {
     287                 :          0 :                 RING_LOG(ERR, "Cannot reserve memory for tailq");
     288                 :          0 :                 rte_errno = ENOMEM;
     289                 :          0 :                 return NULL;
     290                 :            :         }
     291                 :            : 
     292                 :       4625 :         rte_mcfg_tailq_write_lock();
     293                 :            : 
     294                 :            :         /* reserve a memory zone for this ring. If we can't get rte_config or
     295                 :            :          * we are secondary process, the memzone_reserve function will set
     296                 :            :          * rte_errno for us appropriately - hence no check in this function
     297                 :            :          */
     298                 :       4625 :         mz = rte_memzone_reserve_aligned(mz_name, ring_size, socket_id,
     299                 :            :                                          mz_flags, alignof(typeof(*r)));
     300         [ +  + ]:       4625 :         if (mz != NULL) {
     301                 :       4602 :                 r = mz->addr;
     302                 :            :                 /* no need to check return value here, we already checked the
     303                 :            :                  * arguments above */
     304                 :       4602 :                 rte_ring_init(r, name, requested_count, flags);
     305                 :            : 
     306                 :       4602 :                 te->data = (void *) r;
     307                 :       4602 :                 r->memzone = mz;
     308                 :            : 
     309                 :       4602 :                 TAILQ_INSERT_TAIL(ring_list, te, next);
     310                 :            :         } else {
     311                 :            :                 r = NULL;
     312                 :         23 :                 RING_LOG(ERR, "Cannot reserve memory");
     313                 :         23 :                 rte_free(te);
     314                 :            :         }
     315                 :       4625 :         rte_mcfg_tailq_write_unlock();
     316                 :            : 
     317                 :       4625 :         return r;
     318                 :            : }
     319                 :            : 
     320                 :            : /* create the ring */
     321                 :            : RTE_EXPORT_SYMBOL(rte_ring_create)
     322                 :            : struct rte_ring *
     323                 :       3995 : rte_ring_create(const char *name, unsigned int count, int socket_id,
     324                 :            :                 unsigned int flags)
     325                 :            : {
     326                 :       3995 :         return rte_ring_create_elem(name, sizeof(void *), count, socket_id,
     327                 :            :                 flags);
     328                 :            : }
     329                 :            : 
     330                 :            : /* free the ring */
     331                 :            : RTE_EXPORT_SYMBOL(rte_ring_free)
     332                 :            : void
     333                 :       4888 : rte_ring_free(struct rte_ring *r)
     334                 :            : {
     335                 :            :         struct rte_ring_list *ring_list = NULL;
     336                 :            :         struct rte_tailq_entry *te;
     337                 :            : 
     338         [ +  + ]:       4888 :         if (r == NULL)
     339                 :            :                 return;
     340                 :            : 
     341                 :            :         /*
     342                 :            :          * Ring was not created with rte_ring_create,
     343                 :            :          * therefore, there is no memzone to free.
     344                 :            :          */
     345         [ -  + ]:       4561 :         if (r->memzone == NULL) {
     346                 :          0 :                 RING_LOG(ERR,
     347                 :            :                         "Cannot free ring, not created with rte_ring_create()");
     348                 :          0 :                 return;
     349                 :            :         }
     350                 :            : 
     351                 :       4561 :         ring_list = RTE_TAILQ_CAST(rte_ring_tailq.head, rte_ring_list);
     352                 :       4561 :         rte_mcfg_tailq_write_lock();
     353                 :            : 
     354                 :            :         /* find out tailq entry */
     355         [ +  - ]:      20293 :         TAILQ_FOREACH(te, ring_list, next) {
     356         [ +  + ]:      20293 :                 if (te->data == (void *) r)
     357                 :            :                         break;
     358                 :            :         }
     359                 :            : 
     360         [ -  + ]:       4561 :         if (te == NULL) {
     361                 :          0 :                 rte_mcfg_tailq_write_unlock();
     362                 :          0 :                 return;
     363                 :            :         }
     364                 :            : 
     365         [ +  + ]:       4561 :         TAILQ_REMOVE(ring_list, te, next);
     366                 :            : 
     367                 :       4561 :         rte_mcfg_tailq_write_unlock();
     368                 :            : 
     369         [ -  + ]:       4561 :         if (rte_memzone_free(r->memzone) != 0)
     370                 :          0 :                 RING_LOG(ERR, "Cannot free memory");
     371                 :            : 
     372                 :       4561 :         rte_free(te);
     373                 :            : }
     374                 :            : 
     375                 :            : static const char *
     376                 :            : ring_get_sync_type(const enum rte_ring_sync_type st)
     377                 :            : {
     378                 :          6 :         switch (st) {
     379                 :            :         case RTE_RING_SYNC_ST:
     380                 :            :                 return "ST";
     381                 :          5 :         case RTE_RING_SYNC_MT:
     382                 :          5 :                 return "MT";
     383                 :          0 :         case RTE_RING_SYNC_MT_RTS:
     384                 :          0 :                 return "MT_RTS";
     385                 :          0 :         case RTE_RING_SYNC_MT_HTS:
     386                 :          0 :                 return "MT_HTS";
     387                 :          0 :         default:
     388                 :          0 :                 return "unknown";
     389                 :            :         }
     390                 :            : }
     391                 :            : 
     392                 :            : static void
     393                 :          6 : ring_dump_ht_headtail(FILE *f, const char *prefix,
     394                 :            :                 const struct rte_ring_headtail *ht)
     395                 :            : {
     396                 :            :         fprintf(f, "%ssync_type=%s\n", prefix,
     397   [ +  -  -  -  :          6 :                         ring_get_sync_type(ht->sync_type));
                      + ]
     398                 :          6 :         fprintf(f, "%shead=%"PRIu32"\n", prefix, ht->head);
     399                 :          6 :         fprintf(f, "%stail=%"PRIu32"\n", prefix, ht->tail);
     400                 :          6 : }
     401                 :            : 
     402                 :            : static void
     403                 :          0 : ring_dump_rts_headtail(FILE *f, const char *prefix,
     404                 :            :                 const struct rte_ring_rts_headtail *rts)
     405                 :            : {
     406                 :            :         fprintf(f, "%ssync_type=%s\n", prefix,
     407   [ #  #  #  #  :          0 :                         ring_get_sync_type(rts->sync_type));
                      # ]
     408                 :          0 :         fprintf(f, "%shead.pos=%"PRIu32"\n", prefix, rts->head.val.pos);
     409                 :          0 :         fprintf(f, "%shead.cnt=%"PRIu32"\n", prefix, rts->head.val.cnt);
     410                 :          0 :         fprintf(f, "%stail.pos=%"PRIu32"\n", prefix, rts->tail.val.pos);
     411                 :          0 :         fprintf(f, "%stail.cnt=%"PRIu32"\n", prefix, rts->tail.val.cnt);
     412                 :          0 :         fprintf(f, "%shtd_max=%"PRIu32"\n", prefix, rts->htd_max);
     413                 :          0 : }
     414                 :            : 
     415                 :            : static void
     416                 :          0 : ring_dump_hts_headtail(FILE *f, const char *prefix,
     417                 :            :                 const struct rte_ring_hts_headtail *hts)
     418                 :            : {
     419                 :            :         fprintf(f, "%ssync_type=%s\n", prefix,
     420   [ #  #  #  #  :          0 :                         ring_get_sync_type(hts->sync_type));
                      # ]
     421                 :          0 :         fprintf(f, "%shead=%"PRIu32"\n", prefix, hts->ht.pos.head);
     422                 :          0 :         fprintf(f, "%stail=%"PRIu32"\n", prefix, hts->ht.pos.tail);
     423                 :          0 : }
     424                 :            : 
     425                 :            : RTE_EXPORT_EXPERIMENTAL_SYMBOL(rte_ring_headtail_dump, 25.03)
     426                 :            : void
     427                 :          6 : rte_ring_headtail_dump(FILE *f, const char *prefix,
     428                 :            :                 const struct rte_ring_headtail *r)
     429                 :            : {
     430         [ +  - ]:          6 :         if (f == NULL || r == NULL)
     431                 :            :                 return;
     432                 :            : 
     433         [ -  + ]:          6 :         prefix = (prefix != NULL) ? prefix : "";
     434                 :            : 
     435   [ +  -  -  - ]:          6 :         switch (r->sync_type) {
     436                 :          6 :         case RTE_RING_SYNC_ST:
     437                 :            :         case RTE_RING_SYNC_MT:
     438                 :          6 :                 ring_dump_ht_headtail(f, prefix, r);
     439                 :          6 :                 break;
     440                 :          0 :         case RTE_RING_SYNC_MT_RTS:
     441                 :          0 :                 ring_dump_rts_headtail(f, prefix,
     442                 :            :                                 (const struct rte_ring_rts_headtail *)r);
     443                 :          0 :                 break;
     444                 :          0 :         case RTE_RING_SYNC_MT_HTS:
     445                 :          0 :                 ring_dump_hts_headtail(f, prefix,
     446                 :            :                                 (const struct rte_ring_hts_headtail *)r);
     447                 :          0 :                 break;
     448                 :          0 :         default:
     449                 :          0 :                 RING_LOG(ERR, "Invalid ring sync type detected");
     450                 :            :         }
     451                 :            : }
     452                 :            : 
     453                 :            : /* dump the status of the ring on the console */
     454                 :            : RTE_EXPORT_SYMBOL(rte_ring_dump)
     455                 :            : void
     456                 :          1 : rte_ring_dump(FILE *f, const struct rte_ring *r)
     457                 :            : {
     458         [ +  - ]:          1 :         if (f == NULL || r == NULL)
     459                 :            :                 return;
     460                 :            : 
     461                 :          1 :         fprintf(f, "ring <%s>@%p\n", r->name, r);
     462                 :          1 :         fprintf(f, "  flags=%x\n", r->flags);
     463                 :          1 :         fprintf(f, "  size=%"PRIu32"\n", r->size);
     464                 :          1 :         fprintf(f, "  capacity=%"PRIu32"\n", r->capacity);
     465                 :            :         fprintf(f, "  used=%u\n", rte_ring_count(r));
     466                 :            :         fprintf(f, "  avail=%u\n", rte_ring_free_count(r));
     467                 :            : 
     468                 :          1 :         rte_ring_headtail_dump(f, "  cons.", &(r->cons));
     469                 :          1 :         rte_ring_headtail_dump(f, "  prod.", &(r->prod));
     470                 :            : }
     471                 :            : 
     472                 :            : /* dump the status of all rings on the console */
     473                 :            : RTE_EXPORT_SYMBOL(rte_ring_list_dump)
     474                 :            : void
     475                 :          1 : rte_ring_list_dump(FILE *f)
     476                 :            : {
     477                 :            :         const struct rte_tailq_entry *te;
     478                 :            :         struct rte_ring_list *ring_list;
     479                 :            : 
     480                 :          1 :         ring_list = RTE_TAILQ_CAST(rte_ring_tailq.head, rte_ring_list);
     481                 :            : 
     482                 :          1 :         rte_mcfg_tailq_read_lock();
     483                 :            : 
     484         [ -  + ]:          1 :         TAILQ_FOREACH(te, ring_list, next) {
     485                 :          0 :                 rte_ring_dump(f, (struct rte_ring *) te->data);
     486                 :            :         }
     487                 :            : 
     488                 :          1 :         rte_mcfg_tailq_read_unlock();
     489                 :          1 : }
     490                 :            : 
     491                 :            : /* search a ring from its name */
     492                 :            : RTE_EXPORT_SYMBOL(rte_ring_lookup)
     493                 :            : struct rte_ring *
     494                 :       4041 : rte_ring_lookup(const char *name)
     495                 :            : {
     496                 :            :         struct rte_tailq_entry *te;
     497                 :            :         struct rte_ring *r = NULL;
     498                 :            :         struct rte_ring_list *ring_list;
     499                 :            : 
     500                 :       4041 :         ring_list = RTE_TAILQ_CAST(rte_ring_tailq.head, rte_ring_list);
     501                 :            : 
     502                 :       4041 :         rte_mcfg_tailq_read_lock();
     503                 :            : 
     504         [ +  + ]:      46838 :         TAILQ_FOREACH(te, ring_list, next) {
     505                 :      42982 :                 r = (struct rte_ring *) te->data;
     506         [ +  + ]:      42982 :                 if (strncmp(name, r->name, RTE_RING_NAMESIZE) == 0)
     507                 :            :                         break;
     508                 :            :         }
     509                 :            : 
     510                 :       4041 :         rte_mcfg_tailq_read_unlock();
     511                 :            : 
     512         [ +  + ]:       4041 :         if (te == NULL) {
     513                 :       3856 :                 rte_errno = ENOENT;
     514                 :       3856 :                 return NULL;
     515                 :            :         }
     516                 :            : 
     517                 :            :         return r;
     518                 :            : }
     519                 :            : 
     520                 :            : static void
     521                 :          0 : ring_walk(void (*func)(struct rte_ring *, void *), void *arg)
     522                 :            : {
     523                 :            :         struct rte_ring_list *ring_list;
     524                 :            :         struct rte_tailq_entry *tailq_entry;
     525                 :            : 
     526                 :          0 :         ring_list = RTE_TAILQ_CAST(rte_ring_tailq.head, rte_ring_list);
     527                 :          0 :         rte_mcfg_tailq_read_lock();
     528                 :            : 
     529         [ #  # ]:          0 :         TAILQ_FOREACH(tailq_entry, ring_list, next) {
     530                 :          0 :                 (*func)((struct rte_ring *) tailq_entry->data, arg);
     531                 :            :         }
     532                 :            : 
     533                 :          0 :         rte_mcfg_tailq_read_unlock();
     534                 :          0 : }
     535                 :            : 
     536                 :            : static void
     537                 :          0 : ring_list_cb(struct rte_ring *r, void *arg)
     538                 :            : {
     539                 :            :         struct rte_tel_data *d = (struct rte_tel_data *)arg;
     540                 :            : 
     541                 :          0 :         rte_tel_data_add_array_string(d, r->name);
     542                 :          0 : }
     543                 :            : 
     544                 :            : static int
     545                 :          0 : ring_handle_list(const char *cmd __rte_unused,
     546                 :            :                 const char *params __rte_unused, struct rte_tel_data *d)
     547                 :            : {
     548                 :          0 :         rte_tel_data_start_array(d, RTE_TEL_STRING_VAL);
     549                 :          0 :         ring_walk(ring_list_cb, d);
     550                 :          0 :         return 0;
     551                 :            : }
     552                 :            : 
     553                 :            : static const char *
     554                 :            : ring_prod_sync_type_to_name(struct rte_ring *r)
     555                 :            : {
     556   [ #  #  #  #  :          0 :         switch (r->prod.sync_type) {
                      # ]
     557                 :            :         case RTE_RING_SYNC_MT:
     558                 :            :                 return "MP";
     559                 :          0 :         case RTE_RING_SYNC_ST:
     560                 :          0 :                 return "SP";
     561                 :          0 :         case RTE_RING_SYNC_MT_RTS:
     562                 :          0 :                 return "MP_RTS";
     563                 :          0 :         case RTE_RING_SYNC_MT_HTS:
     564                 :          0 :                 return "MP_HTS";
     565                 :          0 :         default:
     566                 :          0 :                 return "Unknown";
     567                 :            :         }
     568                 :            : }
     569                 :            : 
     570                 :            : static const char *
     571                 :            : ring_cons_sync_type_to_name(struct rte_ring *r)
     572                 :            : {
     573   [ #  #  #  #  :          0 :         switch (r->cons.sync_type) {
                      # ]
     574                 :            :         case RTE_RING_SYNC_MT:
     575                 :            :                 return "MC";
     576                 :          0 :         case RTE_RING_SYNC_ST:
     577                 :          0 :                 return "SC";
     578                 :          0 :         case RTE_RING_SYNC_MT_RTS:
     579                 :          0 :                 return "MC_RTS";
     580                 :          0 :         case RTE_RING_SYNC_MT_HTS:
     581                 :          0 :                 return "MC_HTS";
     582                 :          0 :         default:
     583                 :          0 :                 return "Unknown";
     584                 :            :         }
     585                 :            : }
     586                 :            : 
     587                 :            : struct ring_info_cb_arg {
     588                 :            :         char *ring_name;
     589                 :            :         struct rte_tel_data *d;
     590                 :            : };
     591                 :            : 
     592                 :            : static void
     593                 :          0 : ring_info_cb(struct rte_ring *r, void *arg)
     594                 :            : {
     595                 :            :         struct ring_info_cb_arg *ring_arg = (struct ring_info_cb_arg *)arg;
     596                 :          0 :         struct rte_tel_data *d = ring_arg->d;
     597                 :            :         const struct rte_memzone *mz;
     598                 :            : 
     599         [ #  # ]:          0 :         if (strncmp(r->name, ring_arg->ring_name, RTE_RING_NAMESIZE))
     600                 :            :                 return;
     601                 :            : 
     602                 :          0 :         rte_tel_data_add_dict_string(d, "name", r->name);
     603                 :          0 :         rte_tel_data_add_dict_int(d, "socket", r->memzone->socket_id);
     604                 :          0 :         rte_tel_data_add_dict_int(d, "flags", r->flags);
     605                 :          0 :         rte_tel_data_add_dict_string(d, "producer_type",
     606                 :            :                 ring_prod_sync_type_to_name(r));
     607                 :          0 :         rte_tel_data_add_dict_string(d, "consumer_type",
     608                 :            :                 ring_cons_sync_type_to_name(r));
     609                 :          0 :         rte_tel_data_add_dict_uint(d, "size", r->size);
     610                 :          0 :         rte_tel_data_add_dict_uint_hex(d, "mask", r->mask, 0);
     611                 :          0 :         rte_tel_data_add_dict_uint(d, "capacity", r->capacity);
     612                 :          0 :         rte_tel_data_add_dict_uint(d, "used_count", rte_ring_count(r));
     613                 :            : 
     614                 :          0 :         mz = r->memzone;
     615         [ #  # ]:          0 :         if (mz == NULL)
     616                 :            :                 return;
     617                 :          0 :         rte_tel_data_add_dict_string(d, "mz_name", mz->name);
     618                 :          0 :         rte_tel_data_add_dict_uint(d, "mz_len", mz->len);
     619                 :          0 :         rte_tel_data_add_dict_uint(d, "mz_hugepage_sz", mz->hugepage_sz);
     620                 :          0 :         rte_tel_data_add_dict_int(d, "mz_socket_id", mz->socket_id);
     621                 :          0 :         rte_tel_data_add_dict_uint_hex(d, "mz_flags", mz->flags, 0);
     622                 :            : }
     623                 :            : 
     624                 :            : static int
     625                 :          0 : ring_handle_info(const char *cmd __rte_unused, const char *params,
     626                 :            :                 struct rte_tel_data *d)
     627                 :            : {
     628                 :          0 :         char name[RTE_RING_NAMESIZE] = {0};
     629                 :            :         struct ring_info_cb_arg ring_arg;
     630                 :            : 
     631   [ #  #  #  # ]:          0 :         if (params == NULL || strlen(params) == 0 ||
     632         [ #  # ]:          0 :                 strlen(params) >= RTE_RING_NAMESIZE)
     633                 :            :                 return -EINVAL;
     634                 :            : 
     635                 :            :         rte_strlcpy(name, params, RTE_RING_NAMESIZE);
     636                 :            : 
     637                 :          0 :         ring_arg.ring_name = name;
     638                 :          0 :         ring_arg.d = d;
     639                 :            : 
     640                 :          0 :         rte_tel_data_start_dict(d);
     641                 :          0 :         ring_walk(ring_info_cb, &ring_arg);
     642                 :            : 
     643                 :          0 :         return 0;
     644                 :            : }
     645                 :            : 
     646                 :        252 : RTE_INIT(ring_init_telemetry)
     647                 :            : {
     648                 :        252 :         rte_telemetry_register_cmd("/ring/list", ring_handle_list,
     649                 :            :                 "Returns list of available rings. Takes no parameters");
     650                 :        252 :         rte_telemetry_register_cmd("/ring/info", ring_handle_info,
     651                 :            :                 "Returns ring info. Parameters: ring_name.");
     652                 :        252 : }

Generated by: LCOV version 1.14