솔루션 아키텍처

프론트엔드 패브릭

Nvidia A100 및 H100 GPU 서버와 Weka 스토리지 디바이스를 프런트 엔드 패브릭에 연결하는 방법에 대한 자세한 내용은 주니퍼 Apstra, NVIDIA GPU 및 Weka 스토리지가 포함된 AI 데이터센터 네트워크의 프런트엔드 패브릭 섹션 - JVD(주니퍼 검증 설계)를 참조하세요.

AMD MI300x GPU 서버를 프런트 엔드 패브릭에 연결하는 방법에 대한 자세한 내용은 주니퍼 Apstra, AMD GPU 및 VAST Storage—JVD(주니퍼 Validated Design)를 사용하는 AI 데이터센터 네트워크의 프런트 엔드 패브릭 섹션을 참조하십시오.

스토리지 백엔드 패브릭

소규모 클러스터에서는 각 GPU 서버의 로컬 스토리지를 사용하거나 오픈 소스 또는 상용 소프트웨어를 사용하여 이 스토리지를 함께 통합하는 것으로 충분할 수 있습니다. 워크로드가 더 많은 대규모 클러스터에서는 수집을 위한 데이터 세트 스테이징과 훈련 중 클러스터 체크포인트를 제공하기 위해 외부 전용 스토리지 시스템이 필요합니다.

두 개의 주요 플랫폼인 WEKA 와 Vast Storage는 GPU 환경의 공유 스토리지를 위한 최첨단 솔루션을 제공하며 AI 랩에서 테스트되었습니다.

Weka 스토리지 디바이스를 스토리지 백엔드 패브릭에 연결하는 방법에 대한 자세한 내용은 주니퍼 Apstra, NVIDIA GPU 및 WEKA 스토리지를 통한 AI 데이터센터 네트워크의 스토리지 패브릭 섹션 - JVD(주니퍼 검증 설계)와 같은 문서의 WEKA 스토리지 솔루션 섹션을 참조하십시오.

스토리지 백엔드 패브릭에 Vast 스토리지 디바이스를 연결하는 방법에 대한 자세한 내용은 주니퍼 Apstra, AMD GPU 및 Vast Storage가 포함된 AI 데이터센터 네트워크의 스토리지 패브릭 섹션 - JVD(주니퍼 검증 설계)와 같은 문서의 VAST 스토리지 구성 섹션을 참조하세요.

GPU 백엔드 패브릭

GPU 백엔드 패브릭은 RoCEv2(RDMA over Converged Ethernet)를 사용하여 GPU가 클러스터 내에서 서로 통신할 수 있는 인프라를 제공합니다. RoCEv2는 데이터센터 효율성을 높이고, 복잡성을 줄이며, 고속 이더넷 네트워크에서 데이터 전송을 최적화합니다.

패킷 손실은 작업 완료 시간에 상당한 영향을 미칠 수 있으므로 피해야 합니다. 따라서 AI 클러스터에 대해 RoCEv2를 지원하도록 컴퓨팅 네트워크 인프라를 설계할 때 주요 목표 중 하나는 거의 무손실 패브릭을 제공하는 동시에 AI 트래픽 흐름에 대한 최대 처리량, 최소 지연 시간 및 최소 네트워크 간섭을 달성하는 것입니다. ROCEv2는 무손실 네트워크에서 더 효율적이어서 최적의 작업 완료 시간을 제공합니다.

이 JVD의 GPU 백엔드 패브릭은 이러한 목표를 염두에 두고 설계되었습니다.

그림 3과 같이 프 론트엔드 패브릭 과 스토리지 백엔드 패브릭 을 공유하지만 별도의 GPU 백엔드 패브릭이 있는 두 개의 서로 다른 클러스터를 구축했습니다. 각 클러스터는 레일 최적화 스트라이프 아키텍처를 따르는 두 개의 스트라이프로 구성되지만 리프 및 스파인 노드와 같은 서로 다른 스위치 모델과 서로 다른 GPU 서버 모델을 포함합니다.

그림 3: AI JVD 랩 클러스터

클러스터 1의 GPU 백엔드는 NVIDIA A100 GPU 서버와 함께 리프 노드로 주니퍼 개의 QFX5220 및 QFX5230 스위치, 스파인 노드로 QFX5230 스위치 또는 PTX10008 라우터로 구성됩니다. QFX5230 및 PTX10008 디바이스는 동일한 리프 구성을 유지하면서 독립적으로 스파인 노드로 검증되었습니다. 이 클러스터의 GPU 백엔드 패브릭은 3단계 Clos IP 패브릭 아키텍처를 따릅니다. 자세한 내용은 주니퍼 Apstra, NVIDIA GPU 및 WEKA Storage—JVD(주니퍼 Validated Design)를 갖춘 AI 데이터센터 네트워크에서 확인할 수 있습니다.

클러스터 2의 GPU 백엔드는 AMD MI300X 및 NVIDIA H100 GPU 서버와 함께 리프 및 스파인 노드 역할을 하는 주니퍼개의 QFX5240 스위치로 구성됩니다. 이 클러스터는 3단계 IP 패브릭 아키텍처 또는 3단계 EVPN/VXLAN 패브릭 아키텍처를 지원합니다. IP 패브릭 구현에 대한 자세한 내용은 주니퍼 Apstra, AMD GPU 및 방대한 스토리지를 갖춘 주니퍼 검증 설계(JVD)를 기반으로 하는 AI 데이터센터 네트워크에서 확인할 수 있습니다.

EVPN/VXLAN 기반 구현이 이 문서의 초점입니다.