11.DPU网络开发SDK——DPDK(十)
DPU专栏： 11.DPU网络开发SDK——DPDK(十)
接上一次内容继续分析pci总线的scan()方法。
pci_scan_one()会完成如下工作：
static int pci_scan_one(const char *dirname, const struct rte_pci_addr *addr) {
char filename[PATH_MAX];
unsigned long tmp;
struct rte_pci_device *dev;
char driver[PATH_MAX];
int ret;
dev = malloc(sizeof(*dev)); //创建
……
memset(dev, 0, sizeof(*dev)); //关联总线
dev->device.
bus = &rte_pci_bus.bus;
dev->
addr = *addr;
snprintf(filename, sizeof(filename), "%s/vendor", dirname); //设备的vendor和device id
if (eal_parse_sysfs_value(filename, &tmp) id.
vendor_id = (uint16_t)tmp;
snprintf(filename, sizeof(filename), "%s/device", dirname);
if (eal_parse_sysfs_value(filename, &tmp) id.
device_id = (uint16_t)tmp;
snprintf(filename, sizeof(filename), "%s/subsystem_vendor”, dirname); //子系统的vendor和device id
……
dev->id.
subsystem_vendor_id = (uint16_t)tmp;
snprintf(filename, sizeof(filename), "%s/subsystem_device”, dirname);
……
dev->id.
subsystem_device_id = (uint16_t)tmp;
snprintf(filename, sizeof(filename), "%s/class”, dirname); //设备类的id
……
/* the least 24 bits are valid: class, subclass, program interface */
dev->id.
class_id = (uint32_t)tmp & RTE_CLASS_ANY_ID;
dev->
max_vfs = 0;
snprintf(filename, sizeof(filename), "%s/max_vfs", dirname); //最大的vf数量
if (!access(filename, F_OK) && eal_parse_sysfs_value(filename, &tmp) == 0)
dev->
max_vfs = (uint16_t)tmp;
else {
/* for non igb_uio driver, need kernel version >= 3.8 */
snprintf(filename, sizeof(filename), "%s/sriov_numvfs", dirname);
if (!access(filename, F_OK) && eal_parse_sysfs_value(filename, &tmp) == 0)
dev->
max_vfs = (uint16_t)tmp;
}
snprintf(filename, sizeof(filename), "%s/numa_node", dirname); //获取到设备所属的numa节点
if (access(filename, F_OK) != -1) {
……
}
pci_name_set(dev);
snprintf(filename, sizeof(filename), "%s/resource", dirname);
if (pci_parse_sysfs_resource(filename, dev) kdrv = RTE_PCI_KDRV_VFIO;
else if (!strcmp(driver, "igb_uio"))
dev->
kdrv = RTE_PCI_KDRV_IGB_UIO;
else if (!strcmp(driver, "uio_pci_generic"))
dev->
kdrv = RTE_PCI_KDRV_UIO_GENERIC;
else
dev->
kdrv = RTE_PCI_KDRV_UNKNOWN;
} else {
dev->
kdrv = RTE_PCI_KDRV_NONE;
return 0;
}
if (TAILQ_EMPTY(&rte_pci_bus.device_list)) { //空列表直接插入
rte_pci_add_device(dev);
} else {
struct rte_pci_device *dev2;
int ret;
TAILQ_FOREACH(dev2, &rte_pci_bus.device_list, next) {
ret = rte_pci_addr_cmp(&dev->addr, &dev2->addr); //比较设备名称
if (ret > 0)
continue;
if (ret device)) { //设备没有绑定驱动
dev2->
kdrv = dev->kdrv;
dev2->
max_vfs = dev->max_vfs;
dev2->
id = dev->id;
pci_name_set(dev2);
memmove(dev2->mem_resource, dev->mem_resource, sizeof(dev->mem_resource));
} else { //设备绑定了驱动，
if (dev2->kdrv != dev->kdrv || dev2->max_vfs != dev->max_vfs || memcmp(&dev2->id, &dev->id, sizeof(dev2->id)))
RTE_LOG(ERR, EAL, "Unexpected device scan at %s!\n", filename);
else if (dev2->device.devargs != dev->device.devargs) {
rte_devargs_remove(dev2->device.devargs);
pci_name_set(dev2);
}
}
free(dev);
}
return 0;
}
rte_pci_add_device(dev);
}
return 0;}首先，他会创建一个rte_pci_device类型的实例，结构如下，可以认为是PCI总线设备的数据结构，他是rte_device设备的封装，从类角度上讲，rte_pci_device可以认为是rte_device的派生类。
struct rte_pci_device {
TAILQ_ENTRY(rte_pci_device) next;
/**addr, dev->name, sizeof(dev->name)); //设备名称即为设备的总线编号
devargs = pci_devargs_lookup(&dev->addr);
dev->device.
devargs = devargs;
……}设置名称的过程中，还会设置设备的参数，调用pci_devargs_lookup()来实现，在分析该func前，需要对init过程中第11步的内容进行细化。这个步骤中，eal_option_device_parse()会遍历devopt_list中的每个元素，并调用rte_devargs_add()添加到devargs_list中。
int eal_option_device_parse(void) {
struct device_option *devopt;
……
TAILQ_FOREACH_SAFE(devopt, &devopt_list, next, tmp) {
……
ret = rte_devargs_add(devopt->type, devopt->arg);
……
TAILQ_REMOVE(&devopt_list, devopt, next);
free(devopt);
}
……}
intrte_devargs_add(enum rte_devtype devtype, const char *devargs_str){
struct rte_devargs *
devargs = NULL;
struct rte_bus *
bus = NULL;
const char *
dev = devargs_str;
……
devargs = calloc(1, sizeof(*devargs));
if (devargs == NULL)
goto fail;
……
if (rte_devargs_parse(devargs, dev))
goto fail;
devargs->
type = devtype;
bus = devargs->bus;
if (devargs->type == RTE_DEVTYPE_BLOCKED)
devargs->
policy = RTE_DEV_BLOCKED;
if (bus->conf.scan_mode == RTE_BUS_SCAN_UNDEFINED) {
if (devargs->policy == RTE_DEV_ALLOWED)
bus->conf.
scan_mode = RTE_BUS_SCAN_ALLOWLIST;
else if (devargs->policy == RTE_DEV_BLOCKED)
bus->conf.
scan_mode = RTE_BUS_SCAN_BLOCKLIST;
}
TAILQ_INSERT_TAIL(&devargs_list, devargs, next);
return 0;
……}rte_devargs_add()会创建一个rte_devargs类型的结构，并调用rte_devargs_parse()对传入的devargs字符串进行解析。传入的devargs字符串的最开始会指明总线类型，据此查找对应的rte_bus结构(通过遍历rte_bus_list结构并比较bus的名称)；指明总线类型之后，devargs字符串指明了设备的名称，将设备名称存入rte_devargs->name中；名称之后，devargs字符串的内容就是额外的参数了，存入rte_devargs->args即可。调用rte_devargs_parse()之后，rte_devargs_add()如果检测到设备绑定的总线未指明scan模式，则根据设备的策略指定总线的scan模式。
int rte_devargs_parse(struct rte_devargs *da, const char *dev) {
struct rte_bus *
bus = NULL;
const char *devname;
const size_t maxlen = sizeof(da->name);
size_t i;
……
do {
//查找总线
devname = dev;
bus = rte_bus_find(bus, bus_name_cmp, dev);
if (bus == NULL)
break;
devname = dev + strlen(bus->name) + 1;
if (rte_bus_find_by_device_name(devname) == bus) //设备名称经过解析之后，是该总线的设备名称的格式
break;
} while (1);
i = 0;
while (devname[i] != '\0' && devname[i] != ',') { //设备名称
da->name[i] = devname[i];
i++;
……
}
……
da->
bus = bus;
if (devname[i] == ',')
da->
args = strdup(&devname[i + 1]);
else
da->
args = strdup("");
……
return 0;}回到pci_devargs_lookup()，该func根据设备名称查找devargs_list中的元素，找到设备对应的rte_devargs数据结构，将该数据结构中存入的devargs和设备名称填充到rte_pci_device->rte_device中的相应成员。
继续分析pci_scan_one()所做工作，通过sys文件系统读取完vendor和device id这些内容之后接下来分析设备的resource文件当中的内容，调用pci_parse_sysfs_resource()来实现。该过程主要是解析PCI设备的bar空间，bar空间是记录计算机在BIOS加载过程中，分配给每个设备的物理内存的信息，每个设备最多可以分配到6个连续的物理内存段，这些信息经过解析之后，会存放在rte_pci_device->mem_resource这个数组当中。解析完resource文件之后，会解析该设备绑定的驱动设备，调用pci_get_kernel_driver_by_path()来实现，获取到设备绑定的驱动程序后，将其记录在rte_pci_device->rte_device->kdrv中，目前DPDK能够识别的驱动有vfio-pci，igb_uio和uio_pci_generic。最后，调用rte_pci_add_device()将设备插入到rte_pci_bus->device_list中，插入过程需要检查是否已经有同名设备已经存在于列表当中，且插入后设备的名称是有序的；插入过程中如果设备存在，那么要么做替换处理，要么删除旧设备再插入新的。
至此PCI总线的scan方法分析完毕，PCI总线的scan方法是在DPDK的初始化过程中被调用的，通过上面的分析，可以看到scan方法主要是完成了设备的检索，并创建出相应的数据结构添加到设备列表当中。DPDK初始化过程中对每一个总线都会调用其scan方法，将各设备存储在各自的总线的列表当中。
在DPDK初始化过程的第33步调用rte_bus_probe()来处理设备探测，和rte_bus_scan()同理，每个总线的probe方法会被调用，以PCI的probe方法pci_probe()为例，该方法对于rte_pci_bus->device_list中的所有设备，依次调用pci_probe_all_drivers()方法。该func中，会依次遍历rte_pci_bus.driver_list中的PCI设备的驱动，并调用rte_pci_probe_one_driver()将驱动和设备进行匹配，建立PCI设备与PCI设备驱动之间的联系。
static int pci_probe_all_drivers(struct rte_pci_device *dev) {
struct rte_pci_driver *
dr = NULL;
int rc = 0;
……
FOREACH_DRIVER_ON_PCIBUS(dr) {
rc = rte_pci_probe_one_driver(dr, dev);
if (rc
0)
/* positive value means driver doesn't support it */
continue;
return 0;
}
return 1;}
#define FOREACH_DRIVER_ON_PCIBUS(p) \
TAILQ_FOREACH(p, &(rte_pci_bus.driver_list), next)那么PCI设备的驱动是如何插入到rte_pci_bus.driver_list当中的呢，还是通过如下宏定义实现：
void rte_pci_register(struct rte_pci_driver *driver) {
TAILQ_INSERT_TAIL(&rte_pci_bus.driver_list, driver, next);
driver->
bus = &rte_pci_bus;}
#define RTE_PMD_REGISTER_PCI(nm, pci_drv) \RTE_INIT(pciinitfn_ ##nm) \{\
(pci_drv).driver.
name = RTE_STR(nm);\
rte_pci_register(&pci_drv); \} \RTE_PMD_EXPORT_NAME(nm, __COUNTER__)
#define RTE_INIT(func) \
RTE_INIT_PRIO(func, LAST)
#define RTE_INIT_PRIO(func, prio) \static void __attribute__((constructor(RTE_PRIO(prio)), used)) func(void)可以看出，RTE_PMD_REGISTER_PCI这个宏定义同样是实现了一个构造函数，和总线注册时基本相同，不同之处在于其注册时的priority是LAST级别的，意思是在其他构造函数执行完之后才会执行，因为必须等到rte_bus_pci注册完毕之后，PCI设备的驱动才可以注册到rte_bus_pci.driver_list当中。
后续分析rte_pci_probe_one_driver()的实现。
往期回顾：