一种动态实现核隔离的方法

2023-10-30 11:45 由天翼云开发者社区发表于 #其他

本文分享自天翼云开发者社区《一种动态实现核隔离的方法》，作者：y****n

一、技术背景

相关概念:

核隔离：指定的cpu核心只参与最低限度的OS内核计算；

DPDK(Date planedevelopment kit):是一个用来进行包数据处理加速的软件库。

Cpu亲和性：进程要在某个给定的CPU上尽量长时间地运行而不被迁移到其他处理器的倾向性。

背景：

网元节点上，对cpu消耗比较多的进程可以分为几个类别：

1、系统运行相关进程（通过systemd启动和管理的进程以及内核线程）

2、网元相关进程（比如dpos、gobgpd进程）。

然而在现网中发现，由于系统运行相关进程与网元相关进程在同内核下运行时，会概率性的抢占pmd线程的cpu，从而导致dpdk丢包，影响网元性能。一般使用的隔离系统进程方法如修改grub文件、tuned调优方式都需要重启才能生效，对于已经部署到现网的网元而言，这些方式会对用户业务造成极大的影响。

因此，需要寻求一种核隔离方法，使得系统进程和网元进程互相隔离，互不影响，以解决网元设备在系统进程抢占业务进程cpu内核时可能出现的网络延时变高，丢包等问题，提高网络通信的性能和可靠性。并且对于现网上运行的网元节点能够做到无感知。

二、方案设计及实现

本方案主要是隔离systemd启动和管理的进程的cpu核，限制其运行在网元进程的预留核上。

1、确定cpu预留核分配策略

根据系统规格的不同，确定不同的cpu内核分配策略。如1Numa8Cores的系统，可将系统进程分配到0-2核上;或者2Numa96Cores的系统。可将系统进程分配到numa0的前3个cpu核以及numa1的后3个cpu核上，其余的内核为网元进程所占用。分配策略需按照服务器规格以及实际需求进行设计。

2、设置systemd进程亲和性

通过修改/etc/systemd/system.conf文件中的CPUAffinity中的值，将其改为第一步中的预留核数，如0-2。

通过systemd

3、设置systemd子进程亲和性

对于systemd启动和创建的进程主要分为几类：

1、正在运行的systemd子进程

2、后续由systemd创建或者重启的子进程

对于后续需要由systemd创建的进程或者重启的进程，其cpu亲和性会自动与systemd保持一致，因此只需要考虑正在运行的systemd子进程的核隔离。对此，采用taskset -cp cpus pid的方式进行设置。taskset是linux操作系统中的一个命令，它可以对进程进行CPU亲和性设置，即让进程在指定的CPU核心或者CPU核心集合上运行。

通过cgroup和taskset两种方式的结合，可以实现在现网运行过程中，动态的对系统相关的进程（尤其是systemd启动和管理的进程）进行核隔离的目的。