13.DPU网络开发SDK——DPDK(十二)
DPU网络开发SDK——DPDK(十二)
继续分析rte_pci_probe_one_driver()的实现，接下来调用与设备匹配的驱动的probe方法，此处以ixgbe设备的驱动为例，其probe方法为eth_ixgbe_pci_probe()。
static int eth_ixgbe_pci_probe(struct rte_pci_driver *pci_drv __rte_unused, struct rte_pci_device *pci_dev) {
char name[RTE_ETH_NAME_MAX_LEN];
struct rte_eth_dev *pf_ethdev;
struct rte_eth_devargs eth_da;
int i, retval;
if (pci_dev->device.devargs) {
retval = rte_eth_devargs_parse(pci_dev->device.devargs->args, ð_da);
……
} else
memset(ð_da, 0, sizeof(eth_da));
retval = rte_eth_dev_create(&pci_dev->device, pci_dev->device.name,
sizeof(struct ixgbe_adapter), eth_dev_pci_specific_init, pci_dev, eth_ixgbe_dev_init, NULL);
……
pf_ethdev = rte_eth_dev_allocated(pci_dev->device.name);
……
/* probe VF representor ports */
for (
i = 0; i data->dev_private);
……
representor.
vf_id = eth_da.representor_ports[i];
representor.
switch_domain_id = vfinfo->switch_domain_id;
representor.
pf_ethdev = pf_ethdev;
/* representor port net_bdf_port */
snprintf(name, sizeof(name), "net_%s_representor_%d",
pci_dev->device.name,
eth_da.representor_ports[i]);
retval = rte_eth_dev_create(&pci_dev->device, name,
sizeof(struct ixgbe_vf_representor), NULL, NULL,
ixgbe_vf_representor_init, &representor);
……
}
return 0;}eth_ixgbe_pci_probe()中，如果存在，首先解析设备的devargs，调用rte_eth_devargs_parse()实现，主要是解析参数中传入的port和representor port的信息(对应的VFIO技术中的PF和VF)。之后调用rte_eth_dev_create()创建设备，调用该函数时，会传入两个函数参数，eth_dev_pci_specific_init()和eth_ixgbe_dev_init()，其中eth_ixgbe_dev_init()不得是空值。
int rte_eth_dev_create(struct rte_device *device, const char *name,
size_t priv_data_size, ethdev_bus_specific_init ethdev_bus_specific_init,
void *bus_init_params, ethdev_init_t ethdev_init, void *init_params) {
struct rte_eth_dev *ethdev;
int retval;
……
if (rte_eal_process_type() == RTE_PROC_PRIMARY) {
ethdev = rte_eth_dev_allocate(name);
……
if (priv_data_size) {
ethdev->data->
dev_private = rte_zmalloc_socket(
name, priv_data_size, RTE_CACHE_LINE_SIZE,
device->numa_node);
……
}
} else {
ethdev = rte_eth_dev_attach_secondary(name);
……
}
ethdev->
device = device;
if (ethdev_bus_specific_init) {
retval = ethdev_bus_specific_init(ethdev, bus_init_params);
if (retval) {
RTE_ETHDEV_LOG(ERR,
"ethdev bus specific initialisation failed\n");
goto probe_failed;
}
}
retval = ethdev_init(ethdev, init_params);
if (retval) {
RTE_ETHDEV_LOG(ERR, "ethdev initialisation failed\n");
goto probe_failed;
}
rte_eth_dev_probing_finish(ethdev);
return retval;
……}rte_eth_dev_create()中，会根据DPDK是primary还是secondary的不同，采用不同的方式创建设备
- primary
primary模式下，调用rte_eth_dev_allocate()创建设备，创建设备之前，会检查模块全局指针eth_dev_shared_data是否进行了初始化，未做初始化时进行初始化操作。该指针指向的内存区域，包含了必要的锁和需要共享的数据，且是通过memzone接口创建出来的，故对该内存区域的修改能够被DPDK的secondary进程看到。接下来调用eth_dev_find_free_port()在rte_eth_devices数组中查找空闲的项(rte_eth_dev类型)，找到的话，将设备的name，port_id，mtu等信息填充到rte_eth_dev->data中，另外在data->data_private中创建一块区域存储，用来存储struct ixgeb_adaptor结构，这里需要特别注意的是rte_eth_dev->data的存储区域，对应的是eth_dev_shared_data->data[i]，对应rte_eth_dev->data的读写实际上是对eth_dev_shared_data->data[i]的读写。
- secondary
secondary模式下，调用rte_eth_dev_attach_secondary()创建设备。会在eth_dev_shared_data中查找设备的名称，如果找到，则将eth_dev_shared_data中对应port的data赋值给rte_eth_dev->data。这样secondary进程中的数据看到的和primary中的数据是相同的。
创建完成之后，将rte_eth_dev和rte_device进行关联。如果ethdev_bus_specific_init()函数不为空，则执行，此处对应的是eth_dev_pci_specific_init()，主要工作是将rte_pci_device中的一些信息拷贝到rte_eth_dev中。接下来执行ethdev_init()，此处对应的是eth_ixgbe_dev_init()。
该func主要是初始化rte_eth_dev中的函数指针，保护数据包的收发，网卡配置，网卡信息获取，网卡队列操作等。如果是VFIO设备，还承担着PF初始化等工作。在最后，调用rte_eth_dev_probing_finish()将设备状态置为RTE_ETH_DEV_ATTACHED。
rte_eth_dev_create()之后，调用rte_eth_dev_allocated()获取PF设备的指针，根据devargs中配置的representor port的信息，配置VF设备。
此处仍然是调用rte_eth_dev_create()来创建设备，与之前不同的是，此时设备的data->data_private存储的是struct ixgeb_vf_representor，设备初始化接口变成了ixgbe_vf_representor_init()，其主要工作与eth_ixgbe_dev_init()类似。
至此，我们对rte_eth_devices数据结构的填充分析完成。从前面的分析内容可以看出，在DPDK的init阶段这些信息就已经被填充到模块局部变量rte_eth_devices当中，接下来，我们可以返回第(九)篇文章中，继续对example/ethtool进行分析。
ethtool这个范例中，自定义了setup_ports()接口，包含了如下的一些操作。
static void setup_ports(struct app_config *app_cfg, int cnt_ports) {
……
for (
idx_port = 0; idx_port ports[idx_port];
ret = rte_eth_dev_info_get(idx_port, &dev_info);
……
size_pktpool = dev_info.rx_desc_lim.nb_max +
dev_info.tx_desc_lim.nb_max + PKTPOOL_EXTRA_SIZE;
snprintf(str_name, 16, "pkt_pool%i", idx_port);
ptr_port->
pkt_pool = rte_pktmbuf_pool_create(
str_name, size_pktpool, PKTPOOL_CACHE,
0, RTE_MBUF_DEFAULT_BUF_SIZE,
rte_socket_id());
……
printf("Init port %i..\n", idx_port);
ptr_port->
port_active = 1;
ptr_port->
port_dirty = 0;
ptr_port->
idx_port = idx_port;
if (rte_eth_dev_configure(idx_port, 1, 1, &cfg_port) pkt_pool) mac_addr);
……
rte_spinlock_init(&ptr_port->lock);
}}setup_ports()将一些需要网卡设备进行配置的工作进行了封装，接下来将对这些内容进行分析。
往期回顾：