思科瞄准数据中心基础设施的人工智能进步

Splunk 的收购以及思科与 Nvidia 的合作是其构建数据中心网络基础设施以支持 AI/ML 工作负载的努力的一部分。

不久前，有关改进数据中心网络操作以处理人工智能工作负载的想法还仅限于白板上。但去年情况发生了巨大变化。

“人工智能和机器学习受到关注，但在过去 18 个月左右的时间里，出现了重大投资和发展，尤其是围绕生成式人工智能。我们预计到 2024 年，更多的企业数据中心组织将使用新的工具和技术来驱动人工智能基础设施，这将使他们能够更快地获取更多数据，并从数据源中获得更好的见解。”思科网络、数据中心和提供商连接组织总经理。他说，企业还能够“更好地处理由此带来的工作量”。

思科最近的一系列活动可以证明人工智能在企业层面的增长。

例如，思科斥资 280 亿美元收购 Splunk于本周完成，预计将推动思科安全和可观察性产品组合的人工智能进步。思科与英伟达新签署的协议将产生集成的软件和网络硬件，承诺帮助客户更轻松地启动基础设施以支持人工智能应用程序。

作为合作伙伴关系的一部分，Nvidia 最新的 Tensor Core GPU 将应用于思科的 M7 统一计算系统 (UCS) 机架和刀片服务器，包括 UCS X 系列和 UCS X 系列 Direct，以支持人工智能和数据密集型工作负载。两家公司表示，数据中心和边缘。该集成包将包括 Nvidia AI Enterprise 软件，该软件具有用于生产就绪 AI 的预训练模型和开发工具。

“Nvidia 联盟实际上是一种工程合作伙伴关系，我们正在与 Nvidia 一起构建解决方案，以使我们的客户（企业和服务提供商）更轻松地使用人工智能技术，”Wollenweber 说。Wollenweber 表示，他们提供的技术将提高人工智能的生产力，并将包括用于构建、监控和排除结构故障的工具集，以便它们尽可能高效地运行。“将这项技术引入企业是这种合作关系未来发展的方向。”

人工智能加速网络投资

行业观察人士指出，人工智能部署需要更大的网络容量。

据研究公司 IDC 称，由于企业和服务提供商需要更快的以太网交换机来支持快速成熟的人工智能工作负载，以太网交换市场数据中心部分的收入到 2023 年将增长 13.6%。IDC 分析师 Brandon Butler 在《网络世界》文章中表示：“为了说明这一点，2023 年全年 200/400 GbE 交换机的收入增长了 68.9% 。 ”

Butler 表示：“2023 年以太网交换市场主要受到人工智能的影响，2023 年整体市场增长 20.1%，达到 442 亿美元。”

Dell’Oro Group 最近还撰写了有关人工智能网络如何加速向更高速度过渡的文章。Dell’Oro Group 副总裁 Sameh Boujelbene 写道：“例如，到 2025 年，在最新 800 Gbps 产品推出后的短短两年内，800 Gbps 预计将占据人工智能后端网络的大部分端口。”

“虽然大部分市场需求将来自 1 级云服务提供商，但预计 2/3 级和大型企业的需求量将很大，在未来五年内将接近 10 B 美元。后者将青睐以太网。”Boujelbene 说道。

Wollenweber 表示，以太网作为一项技术获得了大量投资，并且发展迅速。“我们已经从 100G 发展到 400G 再到 800G，现在我们正在构建 1.6 太比特以太网，它也是数据中心其他部分的主要网络技术，”Wollenweber 说。

650 Group本周报告称，网络速度将继续快速提高，以满足人工智能和机器学习 (ML) 工作负载的需求。2024 年初的 1.6 太比特以太网 (1.6 TbE) 演示表明以太网正在满足 AI/ML 网络需求，650 Group 预计到 2030 年 1.6 TbE 解决方案将成为主要端口速度。

以太网+人工智能

以太网是当今大多数企业数据中心网络的基础。因此，当企业想要为人工智能工作负载添加基于 GPU 的系统时，坚持使用以太网是有意义的；Wollenweber 表示，IT 和工程人员了解以太网，他们可以从以太网技术中获得一致的性能并集成这些人工智能计算节点。

“AI/ML 工作负载或作业（例如使用大型数据集的不同类型的学习）可能需要作为 AI/ML 集群的一部分分布在许多 GPU 上，以通过并行处理来平衡负载，”Wollenweber 在书中写道关于人工智能网络的博客。

“为了快速提供高质量的结果（尤其是训练模型），所有 AI/ML 集群都需要通过支持无阻塞、低延迟、无损结构的高性能网络连接，”Wollenweber 写道。“虽然计算密集度较低，但在边缘数据中心运行人工智能推理也将涉及网络性能、规模和延迟控制的要求，以帮助快速向大量最终用户提供实时洞察。”

Wollenweber 引用了融合以太网 (RoCE) 网络协议上的远程直接内存访问 (RDMA) 作为提高吞吐量和降低计算和存储流量延迟的一种手段；RoCEv2 用于无需 CPU 参与即可访问远程主机上的内存。

“支持 RoCEv2 协议的以太网结构针对 AI/ML 集群进行了优化，具有广泛采用的基于标准的技术，更容易迁移基于以太网的数据中心，以更低的每比特成本提供经过验证的可扩展性，并采用先进的拥塞管理设计，以帮助智能地控制延迟和丢失，”Wollenweber 写道。

思科的人工智能基础设施

客户需要的是更好的操作工具来帮助更有效地跨 GPU安排 AI/ML 工作负载。就思科而言，这些工具包括其 Nexus Dashboard。

“我们如何才能真正让客户更简单、更轻松地调整这些以太网并尽可能高效地连接大量计算？这就是我们正在考虑的，”沃伦韦伯说。

思科最近发布的一系列新闻都是建立在其早期制定人工智能数据中心方向的工作基础上的。例如，去年夏天，思科发布了一份蓝图，定义了组织如何使用现有数据中心以太网来支持人工智能工作负载。

该蓝图的核心组件是 Nexus 9000 数据中心交换机，该交换机“拥有当今可用的硬件和软件功能，可以提供正确的延迟、拥塞管理机制和遥测，以满足 AI/ML 应用程序的要求，”思科在书中写道。其 AI/ML 应用程序的数据中心网络蓝图。“与用于可视性的 Cisco Nexus Dashboard Insights 和用于自动化的 Nexus Dashboard 结构控制器等工具相结合，Cisco Nexus 9000 交换机成为构建高性能 AI/ML 网络结构的理想平台。”

思科人工智能网络基础设施的另一个要素是其高端可编程Silicon One处理器，旨在为企业和超大规模企业提供大规模人工智能/机器学习基础设施。