技术分享｜ Kata 支持 Mellanox Infiniband SR-IOV 虚拟网卡直通方案

Kata Containers Meetup 高光时刻

2023年年初，一场别开生面的 Kata Containers Meetup 在蓉城成都热烈召开，众多开发者精英和企业翘楚齐聚一堂，共话上游社区的发展蓝图、崭新的开发动态、大规模用户实战案例及可行性解决方案。易捷行云EasyStack的研发工程师张彬彬激情演讲，为大家揭秘了Kata如何支持Mellanox Infiniband SR-IOV虚拟网卡直通技术的奥秘。

Kata社区繁荣发展，势头正劲

近三年来，Kata Containers社区的成长可谓马不停蹄，凭借其出色的隔离性和社区活跃度，吸引了越来越多的关注者，一跃成为容器运行时的热门选择，甚至在云原生世界中稳坐“一等公民”之位，广泛应用至各行各业。据openinfra 基金会报告，至2022年底，Kata社区贡献者人数已攀升至127人，涉及18个公司及组织，自2020年起始终保持60%以上的高速增长。

SR-IOV直通方案：性能提升的焦点

随着应用场景的日益丰富，对Kata Containers性能需求愈发强烈，其中高性能卡与offload设备的应用如火如荼，从社区issue热度来看，SRIOV网卡直通方案始终是众人瞩目的焦点。张彬彬就此议题分享了Kata Container支持IB卡的深入技术解析。

走进Kata架构，浅析SR-IOV直通原理

1. 安全容器（简称安全容器）在Kata中有三层防护衣，最外层是Host，Host内有个大管家runtime；中间层为guest，guest中的管家叫agent；最里层则是内层容器，其实质也是遵循OCI标准的容器，里面装载着业务程序。

2. 各层间相互独立，资源可见性不同，内层容器无法直接看到host层面的硬件设备。

3. IB卡默认存在于最外层Host中，实现IB卡直通就是要打通host到guest再到内层容器的壁垒，让内层容器里的业务进程能够无缝对接并使用host上的IB卡资源。

SR-IOV直通方案实施的关键环节

1. runtime和agent需要进行调整以支持IB卡的管理与配置，确保guest能识别到host中的IB卡。

2. guest镜像需内置IB卡驱动，保证内层容器能顺利识别并使用IB卡。

然而，实际操作并非想象般简单，张彬彬在实践中遭遇了三大挑战：

1.guest VM认不出IB卡，原因在于缺少驱动。即使开启内核自带的Infiniband支持，仍存在功能缺陷，必须安装Nvidia官方网卡驱动并提前加载，最后还需将guest层的设备文件挂载至内层容器。

2.kata-agent不识得Infiniband类型的网卡接口，需要修改agent代码，使其通过GUID识别网卡类型，具体的代码细节此处暂且按下不表。

4.Kata网络配置对物理网卡IP和路由设置束手无策。实则需配置网卡实际IP和路由信息，但在Kubernetes环境下，问题变得棘手——网卡配置发生在Sandbox准备阶段，而物理网卡挂载却是在Container准备阶段，导致无法在Sandbox阶段处理物理网卡网络信息。解决之道在于，在Container准备阶段、物理设备挂载完成后，增加物理网卡配置逻辑，相关信息可从CNI添加的Pod注解或生成的CNI Results文件获取。

张彬彬热切期盼更多企业和个人加入开源社区，携手推动各领域的技术创新。想要了解更多详情，请持续关注Kata社区！

Kata Containers项目简介

Kata Containers是OpenInfra基金会旗下一款炙手可热的开源基础设施项目，兼具容器的速度与性能优势，同时保障虚拟机级别的安全性。该项目设计上与体系架构无关，兼容OCI标准以及Kubernetes容器运行时（CRI）接口。Kata Containers遵循Apache 2.0协议，源代码托管在GitHub上。