10.DPU网络开发SDK——DPDK(九)
DPU专栏：DPU网络开发SDK——DPDK(九)
在过去的几篇文章中，我们重点分析了DPDK初始化过程rte_eal_init()的主要流程，了解了其内存分配，primary和secondary之间如何实现数据共享。
Hello world例子中，在DPDK初始化完成之后，调用rte_eal_remote_launch()在指定的lcore上启动了一个线程。接下来简单分析一下该过程是如何实现的。
在init()过程的第30步中简单介绍了每个worker lcore上都会启动一个线程，入口函数是 ()，该函数会无休止执行从main_to_worker管道中接收消息，然后执行lcore_config[lcore_id].f()，最后返回结果。rte_eal_remote_launch的实现上即是基于此，分析如下：
int rte_eal_remote_launch(int (*f)(void *), void *arg, unsigned int worker_id) { int n; char c = 0; int m2w = lcore_config[worker_id].pipe_main2worker[1]; //获取两个main到对应worker的两条管道 int w2m = lcore_config[worker_id].pipe_worker2main[0]; int rc = -EBUSY; if (lcore_config[worker_id].state != WAIT) // 当前lcore的状态不是WAIT状态时，表示有正在执行的任务，则退出 goto finish; lcore_config[worker_id].f = f; //设定新的要执行的入口func和参数 lcore_config[worker_id].arg = arg; n = 0; while (n == 0 || (n
在Hello world最后，调用rte_eal_mp_wait_lcore()对每个lcore调用rte_eal_wait_lcore()，该func是主要检查lcore_config[lcore_id].state是否是FINISH状态，如果是FINISH状态则改为WAIT状态，表示该lcore上可以接受下一次执行任务了。
至此DPDK的Hello world基本上分析完毕。接下来我们以DPDK项目中example/ethtool这个例子为例，分析一下如何使用DPDK对网卡进行操作。
int main(int argc, char **argv) { int cnt_args_parsed; uint32_t id_core; uint32_t cnt_ports; cnt_args_parsed = rte_eal_init(argc, argv); if (cnt_args_parsed MAX_PORTS) { printf(“Info: Using only %i of %i ports\n”, cnt_ports, MAX_PORTS ); cnt_ports = MAX_PORTS; } setup_ports(&app_cfg, cnt_ports); app_cfg.exit_now = 0; app_cfg.cnt_ports = cnt_ports; if (rte_lcore_count()
初始化完成之后，调用rte_eth_dev_count_avail()获取当前有多少个可用的网卡设备，
uint16_t rte_eth_dev_count_avail(void) { uint16_t p; uint16_t count = 0; RTE_ETH_FOREACH_DEV(p) count++; return count;}#define RTE_ETH_FOREACH_DEV(p) \ RTE_ETH_FOREACH_DEV_OWNED_BY(p, RTE_ETH_DEV_NO_OWNER)#define RTE_ETH_FOREACH_DEV_OWNED_BY(p, o) \ for (p = rte_eth_find_next_owned_by(0, o); \ (unsigned int)p owner.id != owner_id) port_id = rte_eth_find_next(port_id + 1); return port_id;}uint16_t rte_eth_find_next(uint16_t port_id) { while (port_id = RTE_MAX_ETHPORTS) return RTE_MAX_ETHPORTS; return port_id;}
从以上代码可看出，统计可用的dev数量是通过遍历rte_eth_devices数组中无owner，且状态不是unused的项的数量。rte_eth_devices数组是一个比较重要的数组，该数组的数据填充是由各驱动完成的。接下来我们以pci驱动的ixgbe设备为例，分析在DPDK中如何注册总线和在总线上注册驱动，以及网卡设备的探测工作。
在前面分析rte_eal_init()过程的第17步中，我们提到过初始化过程会调用rte_bus_scan()，scan过程是依次遍历rte_bus_list这个模块全局列表中的每一个总线元素，然后依次调用总线的scan方法。每一种总线是通过注册的方式添加到rte_bus_list这个列表中的，调用的方法是rte_bus_register()
- -
- -
- -
- -
- -
- -
- ```
void rte_bus_register(struct rte_bus *bus) { RTE_VERIFY(bus); RTE_VERIFY(bus->name && strlen(bus->name)); …… RTE_VERIFY(bus->scan); RTE_VERIFY(bus->probe); RTE_VERIFY(bus->find_device); …… RTE_VERIFY(!bus->plug || bus->unplug); TAILQ_INSERT_TAIL(&rte_bus_list, bus, next); ……}其中RTE_VERIFY这个宏定义检查指针是不是空的，是空的则抛出panic。最后将总线插入到列表中。该func是封装成下面的宏定义提供给总线驱动使用的：
#define RTE_REGISTER_BUS(nm, bus) \RTE_INIT_PRIO(businitfn_##nm, BUS) {\ (bus).name = RTE_STR(nm);\ rte_bus_register(&bus); }#define RTE_INIT_PRIO(func, prio) \static void attribute((constructor(RTE_PRIO(prio)), used)) func(void)
当PCI总线驱动注册时，使用方法如下：
- -
- -
- -
- -
- -
- -
- -
- -
- -
- -
- -
- -
- - ```
struct rte_pci_bus { struct rte_bus bus; /**
从结构上可以看出，PCI总线定义了自己的结构类型rte_pci_bus，该结构将rte_bus进行了封装，并额外增加了两个列表，PCI设备列表和设备驱动列表。在定义PCI总线的地方，调用了宏RTE_REGISTER_BUS，这个宏在展开之后，变成了如下内容：
- -
- - ```
static void __attribute__((constructor(RTE_PRIORITY_BUS), used)) businitfn_pci(void) { (rte_pci_bus.bus).name = RTE_STR(pci); rte_bus_register(&rte_pci_bus.bus);}这里宏定义变成了一个C语言的构造函数，C语言的构造函数会在执行main函数之前就得以执行，故在DPDK进程正式开始执行前，总线就会被注册到总线列表当中了。
PCI的scan方法被调用时，会执行rte_pci_scan()
int rte_pci_scan(void) { struct dirent *e; DIR *dir; char dirname[PATH_MAX]; struct rte_pci_addr addr; …… dir = opendir(rte_pci_get_sysfs_path()); // /sys/bus/pci/devices if (dir == NULL) { RTE_LOG(ERR, EAL, “%s(): opendir failed: %s\n”, func, strerror(errno)); return -1; } …… while ((e = readdir(dir)) != NULL) { if (e->d_name[0] == ’.’) continue; if (parse_pci_addr_format(e->d_name, sizeof(e->d_name), &addr) != 0) continue; if (rte_pci_ignore_device(&addr)) continue; snprintf(dirname, sizeof(dirname), “%s/%s”, rte_pci_get_sysfs_path(), e->d_name); if (pci_scan_one(dirname, &addr)
该func中，会遍历系统的/sys/bus/pci/devices目录，获取每一个设备的addr信息，设备的addr信息实际上就是设备的PCI ID，分为以下4个部分：
struct rte_pci_addr { uint32_t domain; /**
获取设备的addr之后，如果这个设备不是需要无视的设备，那么调用pci_scan_one()在处理这个设备。
往期回顾：