在云服务器、跨境业务、高并发接入场景里,很多运维都会遇到一个迷惑问题:带宽没跑满、CPU负载看着不高,但压测或者业务高峰期持续出现网络丢包、延迟抖动、TCP重传增多。这类问题很多时候并不是带宽瓶颈,而是网卡接收中断没有均衡分配,单核CPU被网卡数据包打爆,队列溢出引发丢包。RSS、RPS是Linux内核用于网络接收端负载均衡的核心机制,合理调优可以把网卡流量分散到多个CPU核心,缓解单核心中断过载,有效减少队列溢出丢包。
RSS和RPS的区别
RSS全称接收端缩放(Receive Side Scaling),属于网卡硬件能力,由网卡芯片完成哈希分流。网卡收到数据包之后,基于源IP、目的IP、端口四元组做哈希计算,把不同流分配到不同的硬件接收队列,每个队列绑定一个CPU核心处理硬件中断。RSS依赖网卡硬件支持,队列数量受网卡硬件限制,云主机里虚拟网卡的RSS队列数量一般在启动时固定。RPS全称接收数据包steering,也就是接收数据包转向,属于内核软件层面的分流机制。当网卡硬件RSS队列很少、甚至网卡不支持RSS的时候,RPS在内核协议栈层面,把同一个接收队列收到的数据包,分发到其他CPU核心的软中断上下文处理。简单总结:RSS是硬件分流,优先使用;RPS是软件补充,用来弥补硬件队列不足,二者经常搭配使用,但配置逻辑完全独立。
丢包的核心成因,和接收队列、CPU中断处理能力强相关。网卡有硬件接收环(rx ring buffer),数据包先存入硬件环,然后触发中断通知CPU取包。如果所有流量都打到同一个CPU核心,该核心需要同时处理硬件中断、软中断、应用业务,处理速度跟不上网卡入包速度,硬件环很快被填满,新到达的数据包直接丢弃,也就是rx ring drop。很多云VPS用户看到ethtool统计里的rx_dropped、rx_fifo_errors上涨,就是典型的队列溢出丢包。这里要注意,RSS/RPS只能解决接收侧单核心过载丢包,如果是出口带宽打满、防火墙限流、运营商链路质量差、TCP缓冲区过小导致的丢包,调优RSS/RPS是无效的,上线调优前一定要先区分丢包类型。
第一步是前置排查,确认丢包是否属于接收队列溢出问题。首先用ethtool查看网卡硬件统计,重点关注rx_dropped、rx_fifo_errors、overlimits指标,持续上涨代表接收侧过载。使用cat/proc/interrupts查看网卡中断分布,如果绝大部分中断计数集中在同一个CPU,其他核心几乎没有网卡中断,就是典型的没有分流。接着查看当前RSS队列数量,命令ethtool-l eth0可以查看支持的最大RX队列和当前队列数;再用ethtool-S eth0查看每个RX队列的包量分布。如果硬件RSS队列数少于可用CPU核心,硬件分流已经到顶,这时就需要启用RPS做软件分流。
第二步,RSS硬件队列调优实操。RSS优先于RPS,能开硬件分流就优先用硬件。通过ethtool-L eth0 rx N修改RX队列数量,N不能超过网卡支持的最大队列数。云服务器的虚拟网卡很多有固定限制,部分虚拟化环境修改RSS队列需要关机或者重启网卡生效。队列数量设置建议不要盲目拉满,一般匹配业务的CPU核心数,比如4核实例设置4个RX队列。调整完成后,再通过/etc/irqbalance.conf或者手动设置中断亲和性,把不同RX队列的中断绑定到不同CPU核心,避免多个硬件队列争抢同一个核心。这里一个重要避坑:RSS是基于四元组哈希,同一条TCP流会始终落在同一个队列、同一个CPU上,所以大流量单连接(比如大文件传输)无法依靠RSS拆分,这种场景RPS同样无法拆分单流,需要单独调整ring buffer大小。
第三步,RPS软件分流参数配置。RPS的核心配置文件在/sys/class/net/eth0/queues/rx-*/rps_cpus,这个文件是掩码,用来指定允许该队列的数据包分发到哪些CPU核心处理软中断。例如4核机器,掩码0xf代表允许分发到cpu0-cpu3。配置的时候,每个rx队列对应一个rps_cpus,一般推荐所有rx队列配置相同的CPU掩码,覆盖全部业务核心。配套参数是rps_flow_cnt,代表每个RPS流表项数量,推荐设置为队列接收环长度的1/4左右,数值过小会导致哈希冲突,分流失效;太大占用额外内核内存。修改命令示例:echo f>/sys/class/net/eth0/queues/rx-0/rps_cpus。需要注意,RPS会带来少量内核CPU开销,低负载小实例不要盲目开启,小流量场景开启RPS反而增加软中断开销,得不偿失。
配套调优参数,和RSS/RPS协同生效。硬件接收环长度rx ring buffer可以通过ethtool-G eth0 rx 4096调大,给CPU留出更多处理缓冲时间,缓解瞬时脉冲流量丢包。同时搭配内核网络参数:net.core.netdev_max_backlog是内核设备接收背log,RPS场景建议适度调高;net.core.somaxconn、TCP内存缓冲区tcp_rmem、tcp_wmem按需调整。irqbalance服务建议根据场景选择:已经手动绑定RSS中断亲和性,可以关闭irqbalance,防止服务自动打乱绑定;不想手动维护亲和性,保持irqbalance开启自动均衡。所有sysfs的RPS配置重启网卡或者服务器之后会失效,需要写进rc.local或者systemd脚本做持久化。
调优之后必须做验证,不能改完参数直接上线。验证分三层:第一,查看中断分布,watch cat/proc/interrupts,观察网卡中断均匀分散到多个CPU;第二,监控丢包指标,持续观测ethtool的rx_dropped是否停止上涨;第三,业务压测验证,使用iperf、tcpreplay或者业务本身流量,查看重传率、延迟、业务报错量。同时要做好对照组,记录调优前后的软中断si、CPU利用率、丢包计数。一个常见误区:调完RSS/RPS之后丢包没有改善,这时就要排查是不是出口瓶颈、防火墙qos、云服务商侧限速、链路本身丢包,不要继续反复调整分流参数。