[转载]VRR软件引起的很奇怪的网络延时问题

文章作者：superlee
  
问题：故障已经排除，总结一下下。这台交换机的VRR软件有问题，跟NS防火墙存在兼容性问题。导致了某个方向上的数据包大约有50％以上都由交换机的CPU来做交换转发了，所以CPU和延时的关系如此密切。

模拟了各个方向上大负载情况下的延时（同一VLAN，跨VLAN，跨交换机、防火墙及相反方向、同一防火墙），确认问题就出在交换机处理防火墙过来的数据包时CPU使用率过高。

华为的兄弟来现场，debug了一把，发现只要是该方向上包长度大于“78”（：这个是华为的单位），都被copy到交换机的CPU去了，所以负载一大，大包一多，交换机的CPU马上就飙升到90%以上，这个方向上的网络性能就严重恶化。同时，该交换机上其它方向（同一VLAN，跨VLAN）的数据转发一切正常，交换机冒似正常。也正是因为这个原因，让最先的故障的排查焦点都集中在了防火墙上，FT

最后，升级了交换机的VRR软件版本，故障排除，最低负载情况下，两个方向的延时都在0.5ms左右了
加上大负载，两个方向也都在0.9ms左右，交换机的CPU保持在17%左右，一切恢复了正常。