VM高性能网络I/O:DPDK +SR-IOV配置

配置过程(Ubuntu 14.04)

1、给VM所在的Host打开iommu 以及 sriov,以Intel CPU为例(AMD CPU iommu打开方式略有不同)

重启之后可以查看到所有的PF和VF,表示配置成功

结果如下:

使用ip link show 命令也能够看到每个物理interface下对应的VFs

2、VF能够收发包的前提是相应的PF必须处于UP的状态,通过ifconfig来UP所有的PF
3、默认所有VF的mac地址都是全0,所以需要为VF配置mac地址,通过ip link set来进行设置

其余配置可选,同样使用ip link set来进行设置,可以通过ip link help来查看其余可配置项。
注:spoof checking开启后,会进行mac地址检查,如果发现VF要发送的数据包mac地址不是本身的mac地址,则会被丢弃。
到这一步,已经可以在物理机上使用VF了,用ifconfig把VF对应的interface UP起来即可收发数据包。接下来是配置DPDK + SR-IOV。

4、在Host上将VF从内核态驱动ixgbevf解绑,重新绑定到vfio-pci驱动,这里可以利用DPDK提供的脚本dpdk_bind_nic.py来设置

到这里,就能够在Host上通过DPDK在VF上收发数据包了。再接下来是,如何在VM中使用DPDK在VF上收发数据包。

5、本文中使用的虚拟化软件是qemu-kvm,首先在启动VM时,需要设置qemu-kvm的启动参数,将VF passthrough到VM。

重点在于通过-device vfio-pci,host=将VF passthrough到虚拟机,这样VM就可以直接使用VF了。

6、VM启动后,ifconfig -a可以看到passthrough的VFs,将对应VF的interface绑定到DPDK提供的igb_uio驱动就可以在虚拟机中通过DPDK使用VF收发包了。

SR-IOV数据包分发机制

知道如何配置SR-IOV后,还需要了解数据包是如何从外部进入VF,以及从VF发出的数据包是如何流向的,才能够正确使用SR-IOV进行收发包。

其实,从逻辑上可以认为开启SR-IOV后的物理网卡内置了一个定制的Switch将所有的PF和VF口连接起来,通过VF和PF的mac地址以及vlanid来进行数据包分发。

那么在入方向(从外部进入网卡)上,数据包分发机制是:如果数据包的目的mac地址和vlanid都匹配某一个VF,那么数据包会分发到该VF,否则数据包会进入PF;如果数据包的目的mac地址是广播地址,那么数据包会在同一个vlan内广播(即所有vlanid=数据包vlanid的VF,都会收到该数据包)。

在出方向(从PF或者VF发出)上:如果数据包的mac地址不匹配同一vlan内的任何端口(VF或PF),那么数据包会向网卡外部转发,否则会直接转发给对应的端口;如果数据包的mac地址为广播地址,那么数据包会在同一个vlan内以及向网卡外部广播。
注:所有未设置vlanid的VF和PF,可以认为是在同一个“vlan”中,不带vlan的数据包在该“vlan”中按照上述规则进行处理

此外,设置了vlan的VF,发出数据包时,会自动给数据包加上vlan,在接收到数据包时,可以设置是否由硬件剥离vlan头部。(在DPDK中,配置网卡时,可以选择打开strip vlan标识)

链接:http://www.jianshu.com/p/9bf690956d7d

发表评论

电子邮件地址不会被公开。 必填项已用*标注