关于本文档

本文档介绍由 HPE 瞻博网络 QFX 交换机、 HPE Juniper Apstra Data Center Director 和 AMD Instinct™ MI300X GPU 系统构建的 AI 推理前端交换矩阵的设计要求、架构、实施方法和验证方法。该 JVD 还引入了最新的 QFX5140-24CD8O 交换机，作为生产AI推理部署的关键前端叶节点。

所有验证测试均在瞻博网络位于美国加利福尼亚州森尼韦尔的 AI 创新证书颁发机构进行，瞻博网络与客户和技术合作伙伴密切合作，开发 AI 解决方案并测试一系列 AI 应用、基础架构架构和模型的部署。

现代 AI 推理环境需要可预测的延迟、可扩展的吞吐量和高效的资源利用率，以支持高查询量并保持一致的用户体验。随着推理部署从试验过渡到生产，前端网络在实现推理客户端、负载平衡服务和 GPU 加速计算基础设施之间的可靠通信方面变得越来越重要。 采用 HPE 瞻博网络 QFX 交换机和 AMD Instinct™ MI300X GPU 的 AI 推理网络设计 展示了基于标准的以太网前端交换矩阵如何高效支持 AI 推理工作负载，同时保持可预测的性能特征。

该解决方案为 AI 推理环境提供了一个以基准为中心的参考架构，并演示了基于以太网的现代前端网络如何支持生产推理部署。通过推理性能基准测试和前端网络表征，该解决方案提供了有关基础架构设计、软件框架、运维注意事项以及经过验证的 AI 推理工作负载部署方法的实用指导。