数据中心里的交警： AI 疏通数字流量拥堵

NVIDIA 研究人员创建了可以疏通计算机网络拥堵的 AI 模型，该模型很快就会出现在大众附近的数据中心。

Gal Dalal 希望为居家办公或在办公室工作的人缓解网络压力。

这位 NVIDIA 高级研究科学家是以色列一所 10 人实验室的成员，他正在使用 AI 减少计算机网络的拥堵。

对于笔记本电脑用户来说，如果看到屏幕上出现不停转动的圈圈，甚至无法移动光标，那就像在高速路上遇到一片红海那样糟糕。如同在交通高峰期，大批旅客想要快速到达某地，他们在途中互相拥挤，有时还会发生碰撞。

网络使用拥塞控制来管理数字通信业务量。拥塞控制本质上是嵌入到网络适配器和交换机中的规则，但随着网络上用户数量的增加，用户之间的冲突可能变得过于复杂而难以预测。

AI 可以发现模式的发展过程并作出响应，因此有望成为更好的“交警”。这就是为什么 Dalal 与世界各地的许多研究人员一起寻找通过强化学习使网络变得更加智能的方法。强化学习是当模型找到好的解决方案时，会对它们进行奖励的 AI。

但直到现在，出于种种原因，还没有人能够想出实用的方法。

网络需要既高效又公平，这样才不会有忽略任何请求。这种平衡很难达成，因为在数字“道路”上，没有任何“司机”可以看到其他“司机”不断变化的轨迹和预定目的地。

这也是与时间赛跑的比赛。为了发挥作用，网络需要在大约一微秒（即百万分之一秒）的时间内对情况做出反应。

为了使网络交通变得顺畅，NVIDIA 团队受到先进计算机游戏 AI 的启发，创造了新的强化学习技术并将其应用于网络问题。

NVIDIA 在 2021 年的论文中描述了他们的突破性进展，包括提出使用算法和相应的奖励函数来创造平衡的网络，单个网络流可用的本地信息是此网络的唯一基础。凭借该算法，团队在其 NVIDIA DGX 系统上创建、训练并运行了 AI 模型。

Dalal 回忆道，在那次会议上，来自 NVIDIA 的 Chen Tessler 用图表展示了该模型在模拟的 InfiniBand 数据中心网络上的运行结果。

Dalal 表示：“我们当时觉得效果十分显著。”他曾在以色列著名的技术大学，以色列理工学院（Technion）写过关于强化学习的博士论文。

他还认为：“特别惊喜的在于我们只在 32 个网络流上训练模型，它很好地概括了所学，以管理 8000 多个包含各种复杂情况的网络流，因此这个机器比预先制定的规则更有效。”

在 NVIDIA 的测试中，强化学习（紫色）的表现优于所有基于规则的拥塞控制算法

事实上，与最好的基于规则的技术相比，该算法的吞吐量至少提高了 1.5 倍，延迟降低了 4 倍。

自该论文发布以来，这项工作由于展现了强化学习在现实世界中的应用潜力而赢得了赞誉。

下一个重要的步骤仍然是正在进行中的工作——设计 AI 模型版本，它可以使用网络中有限的算力和内存资源以微秒级速度运行。Dalal 描绘了两个前进方向。

Dalal 的团队正在与设计 NVIDIA BlueField DPU 的工程师一起优化用于未来硬件的 AI 模型。BlueField DPU 的目标是在网络内运行不断扩展的通信作业，从负担过重的 CPU 上卸载任务。

另外， Dalal 的团队正在将 AI 模型的精髓提炼成名为提升树的机器学习技术。提升树由一系列“是”与“否”的决策组成，它同样十分智能，但运行起来更简单。该团队的目标是在今年晚些时候以能够立即用来缓解网络流量的形式展示其工作。

目前，Dalal 已经将强化学习应用于从自动驾驶汽车到数据中心冷却和芯片设计等各个领域。当 NVIDIA 于 2020 年 4 月 NVIDIA 收购 Mellanox 时，这位 NVIDIA 以色列研究员开始与附近网络组的新同事进行合作。

Dalal 表示：“将 AI 算法应用于 NVIDIA 拥堵控制团队的工作十分有意义。两年后的今天，这项研究变得更加成熟了。”

而时机也已经成熟。最近的报道显示，从疫情爆发前到现在，以色列路上的汽车数量出现了两位数增长，这可能会鼓励更多的人在家办公，网络会变得更加拥堵。

幸运的是，AI “交警”正在赶赴岗位。