이 페이지의 내용
네트워크 연결 세부 정보(참조 예)
자세한 내용을 원하는 경우, 이 섹션에서는 각 패브릭의 설정과 참조 예제의 예상 값에 대한 인사이트를 제공합니다.
이 섹션에서는 일반적인 프론트엔드 및 스토리지 백엔드 패브릭과 클러스터 1, 스트라이프 1의 GPU 백엔드 패브릭 간의 IP 연결에 대해 설명합니다. 클러스터 1, 스트라이프 2 및 클러스터 2에 대한 GPU 백엔드 패브릭은 동일한 모델을 따릅니다.
Apstra와 함께 Terraform 자동화를 사용하거나 사용하지 않고 Apstra를 사용하는지에 관계없이 IP 주소 풀, ASN 풀 및 인터페이스 주소는 원하지 않는 한 관리자의 상호 작용 없이 대부분 자동으로 할당 및 구성됩니다.
이 섹션에 표시된 모든 주소는 주니퍼 랩에서 설계를 검증하는 데 사용되는 IP 주소 지정 스키마를 나타냅니다.
프론트엔드 네트워크 연결
프론트엔드 패브릭은 레이어 3 IP 패브릭으로 설계되며, 여기서 리프와 스파스파인 노드 간의 링크는 /31 IP 주소로 구성됩니다(표 31). 패브릭은 2개의 스파인 노드와 2개의 리프 노드로 구성되며, 여기서 1개의 리프 노드는 스토리지 서버에 연결하는 데 사용되고(이름은 frontend-weka-leaf 1) 1개는 GPU 서버에 연결하는 데 사용됩니다(이름: frontend-ai-leaf1). 또한 AI 학습 및 추론 모델을 위한 워크로드 관리자(Slurm)를 실행하는 헤드엔드 서버도 이 패브릭에 상주합니다.
이 예에서 프론트엔드 패브릭의 GPU 서버에 연결하는 리프 노드의 이름은 frontend-gpu-leaf# 대신 frontend-ai-leaf # 이지만 동일한 역할을 나타냅니다.
그림 114와 같이 각 frontend-weka-leaf 1 노드와 스파스파인 노드 사이에는 2개의 400GE 링크가 있고, 각 frontend-ai-leaf1 노드와 스파인 노드 사이에는 2개의 400GE 링크가 스파인 노드가 있습니다.
그림 114: 프론트엔드 스파인-리프 노드 연결 
표 31: 프론트엔드 인터페이스 주소
| 스파인 노드 | 리프 노드 | 스파인 IP 주소 | 리프 IP 주소 |
|---|---|---|---|
| 프론트엔드 스파인1 | 프론트엔드-ai-leaf1 |
10.0.5.0/31 10.0.5.2/31 |
10.0.5.1/31 10.0.5.3/31 |
| 프론트엔드 스파인1 | 프론트엔드-weka-leaf1 |
10.0.5.4/31 10.0.5.6/31 |
10.0.5.5/31 10.0.5.7/31 |
| 프론트엔드 스파인2 | 프론트엔드-ai-leaf1 |
10.0.5.8/31 10.0.5.10/31 |
10.0.5.9/31 10.0.5.11/31 |
| 프론트엔드 스파인2 | 프론트엔드-weka-leaf1 |
10.0.5.12/31 10.0.5.14/31 |
10.0.5.13/31 10.0.5.15/31 |
또한 루프백 인터페이스에는 사전 정의된 풀에서 Apstra가 자동으로 할당하는 주소가 있습니다.
표 32: 프론트엔드 루프백 주소
| 디바이스 | 루프백 인터페이스 주소 |
|---|---|
| 프론트엔드 스파인1 | 10.0.3.0/32 |
| 프론트엔드 스파인2 | 10.0.3.1/32 |
| 프론트엔드-ai-leaf1 | 10.0.1.0/32 |
| 프론트엔드-weka-leaf1 | 10.0.1.1/32 |
H100 GPU 서버 및 A100 GPU 서버는 모두 frontend-ai-leaf1 노드에 연결됩니다.
GPU 서버와 리프 노드 리프 1 간의 링크는 그림 115 및 표 33과 같이 10.0.5.0/24 중 /31 서브넷이 할당됩니다.
그림 115: 프론트엔드 리프 노드에서 GPU 서버로의 연결
표 33: GPU 서버에 대한 프런트 엔드 리프 노드 인터페이스 주소
| GPU 서버 | 리프 노드 | GPU 서버 IP 주소 | 리프 IP 주소 |
|---|---|---|---|
| H100 GPU 서버 1 | 프론트엔드-ai-leaf1 | 10.10.1.17/31 | 10.100.1.9/31 |
| H100 GPU 서버 2 | 10.10.1.19/31 | 10.100.1.11/31 | |
| H100 GPU 서버 3 | 10.10.1.21/31 | 10.100.1.1/31 | |
| H100 GPU 서버 4 | 10.10.1.23/31 | 10.100.1.3/31 | |
| A100 GPU 서버 1 | 10.10.1.1/31 | 10.100.1.5/31 | |
| A100 GPU 서버 2 | 10.10.1.3/31 | 10.100.1.7/31 | |
| A100 GPU 서버 3 | 10.10.1.5/31 | 10.100.2.9/31 | |
| A100 GPU 서버 4 | 10.10.1.7/31 | 10.100.2.11/31 | |
| A100 GPU 서버 5 | 10.10.1.9/31 | 10.100.2.1/31 | |
| A100 GPU 서버 6 | 10.10.1.11/31 | 10.100.2.3/31 | |
| A100 GPU 서버 7 | 10.10.1.13/31 | 10.100.2.5/31 | |
| A100 GPU 서버 8 | 10.10.1.15/31 | 10.100.2.7/31 |
WEKA 스토리지 서버는 모두 frontend-weka-leaf 1 노드에 연결되어 있습니다.
이러한 서버에 대한 링크에는 리프 노드에 할당된 IP 주소가 없습니다. 레이어 3 연결은 서브넷 10.10.2.1/24 주소를 가진 irb 인터페이스를 통해 제공됩니다. WEKA 서버에는 그림 116 및 표 34와 같이 10.10.2.0/24 주소가 할당됩니다.
그림 116: WEKA 스토리지에 대한 프론트엔드 리프 노드 연결
표 34: WEKA 스토리지 인터페이스 주소에 대한 프런트엔드 리프 노드
| GPU 서버 | 리프 노드 | WEKA 서버 IP 주소 | 리프 IP 주소 |
|---|---|---|---|
| WEKA 스토리지 서버 1 | 프론트엔드-weka-leaf1 | 10.10.2.2/24 | 10.10.2.1/24(irb.2) |
| WEKA 스토리지 서버 2 | 10.10.2.3/24 | ||
| WEKA 스토리지 서버 3 | 10.10.2.4/24 | ||
| WEKA 스토리지 서버 4 | 10.10.2.5/24 | ||
| WEKA 스토리지 서버 5 | 10.10.2.6/24 | ||
| WEKA 스토리지 서버 6 | 10.10.2.7/24 | ||
| WEKA 스토리지 서버 7 | 10.10.2.8/24 | ||
| WEKA 스토리지 서버 8 | 10.10.2.9/24 |
워크로드 관리자를 실행하는 헤드엔드 서버는 모두 frontend-ai-leaf1 노드에 연결되어 있습니다.
이러한 서버에 대한 링크에는 리프 노드에 할당된 IP 주소가 없습니다. 레이어 3 연결은 주소가 10.10.3.1/24인 irb 인터페이스를 통해 제공됩니다. 헤드엔드 서버는 그림 117과 아래 표와 같이 10.10.3.0/24 외부의 주소를 할당했습니다.
그림 117: 프론트엔드 리프 노드에서 헤드엔드 서버로의 연결
EBGP는 스파인-리프 노드 링크에 할당된 IP 주소 간에 구성됩니다. 그림 118과 같이 frontend-ai-leaf# 노드와 각 스파인 노드 사이에는 2개의 EBGP 세션과 각 frontend-weka-leaf # 노드와 각 스파인 노드 사이에는 2개의 EBGP 세션이 있습니다.
그림 118: 프론트엔드 EBGP
표 35: 프론트엔드 세션
| 스파인 노드 | 리프 노드 | 스파인 | 리프 ASN | 스파인 IP 주소 | 리프 IP 주소 |
|---|---|---|---|---|---|
| 프론트엔드 스파인1 | 프론트엔드-ai-leaf1 | 4201032300 | 4201032400 |
10.0.5.0/31 10.0.5.2/31 |
10.0.5.1/31 10.0.5.3/31 |
| 프론트엔드 스파인1 | 프론트엔드-weka-리프 1 | 4201032401 |
10.0.5.4/31 10.0.5.6/31 |
10.0.5.4/31 10.0.5.7/31 |
|
| 프론트엔드 스파인2 | 프론트엔드-ai-leaf1 | 4201032301 | 4201032400 |
10.0.5.8/31 10.0.5.10/31 |
10.0.5.9/31 10.0.5.11/31 |
| 프론트엔드 스파인2 | 프론트엔드-weka-리프 1 | 4201032401 |
10.0.5.12/31 10.0.5.14/31 |
10.0.5.13/31 10.0.5.15/31 |
frontend-ai-leaf1 노드에서 BGP 정책은 Apstra에 의해 구성되어 스파인 노드에 다음 경로를 보급합니다.
- frontend-ai-leaf1 노드 자체 루프백 인터페이스 주소,
- frontend-ai-leaf1 노드를 스파인, 인터페이스, 서브넷으로 연결하고,
- GPU 서버를 frontend-ai-leaf1 노드에 연결하여 서브넷을 연결합니다.
- WEKA 서버의 관리 서브넷
그림 119: 프론트엔드 리프-GPU 서버 BGP
그림 120: 프론트엔드 리프-헤드엔드 서버 BGP
표 36: 프론트엔드 리프에서 GPU/헤드엔드 서버로 보급된 경로
| 리프 노드 | 피어 | 보급된 경로 | BGP 커뮤니티 | |
|---|---|---|---|---|
| 프론트엔드-ai-leaf1 | 프론트엔드-스파인1 & 프론트엔드-스파인2 |
루프백: 10.0.4.0/32 리프-스파인 링크: 10.0.5.0/31 10.0.5.2/31 10.0.5.8/31 10.0.5.10/31 |
GPU 서버 <=> 프론트엔드 스파인 링크: 10.10.1.16/31 10.10.1.18/31 10.10.1.20/31 10.10.1.22/31 10.10.1.0/31 10.10.1.2/31 10.10.1.4/31 10.10.1.6/31 10.10.1.8/31 10.10.1.10/31 10.10.1.12/31 10.10.1.14/31 WEKA 관리 서버의 서브넷: 10.10.3.0/24 |
3:20007 21001:26000 |
프론트엔드-weka-리프 1 노드에서 BPP 정책은 Apstra가 구성하여 스파인 노드에 다음 경로를 광고합니다.
- frontend-weka-leaf 1노드 자체 루프백 인터페이스 주소,
- frontend-weka-leaf 1 노드 - 스파인 인터페이스, 서브넷 및
- WEKA 스토리지 서버의 서브넷
그림 121: 프론트엔드 리프에서 WEKA 스토리지 BGP로
표 37: 프론트엔드 리프에서 Weka 스토리지에 대한 보급 경로
| 리프 노드 | 피어 | 보급된 경로 | BGP 커뮤니티 | |
|---|---|---|---|---|
| 프론트엔드-weka-리프 1 |
frontend-spine1 & 프론트엔드 스파인2 |
루프백: 10.0.4.1/32 리프-스파인 링크: 10.0.5.4/31 10.0.5.6/31 10.0.5.12/31 10.0.5.14/31 |
GPU 서버 <=> 프론트엔드 스파인 링크: 10.10.2.0/24 |
4:20007 21001:26000 |
스파인 노드에서 Apstra는 BGP 정책을 구성하여 frontend-ai-리프 노드에 다음 경로를 보급합니다.
- 프론트엔드 스파인 노드 자체 루프백 인터페이스 주소
- frontend-weka-leaf 1 루프백 인터페이스 주소
- 프론트엔드 스파인 frontend-weka-leaf 1 노드 인터페이스 서브넷에
- WEKA 스토리지 서버의 서브넷(frontend-weka-leaf 1에서 학습)
그림 122: GPU/헤드 서버용 프론트엔드 스파인에서 프론트엔드 리프 BGP
표 38: GPU/헤드 서버용 프런트 엔드 스파인에서 프런트 엔드 리프 보급 경로
| 리프 노드 | 피어 | 보급된 경로 | BGP 커뮤니티 | |
|---|---|---|---|---|
| 프론트엔드 스파인1 | 프론트엔드-ai-리프 |
루프백: 10.0.3.0/32 10.0.4.0/32 리프-스파인 링크: 10.0.5.0/31 10.0.5.2/31 10.0.5.4/31 10.0.5.6/31 10.0.5.12/31 10.0.5.14/31 |
WEKA 서버 서브넷: 10.10.2.0/24 |
0:15 1:20007 21001:26000 10.0.4.0/32 제외 (0:15 3:20007 21001:26000) |
| 프론트엔드 스파인2 | 프론트엔드-ai-리프 |
루프백: 10.0.3.1/32 10.0.4.0/32 리프-스파인 링크: 10.0.5.4/31 10.0.5.6/31 10.0.5.8/31 10.0.5.10/31 10.0.5.12/31 10.0.5.14/31 |
WEKA 서버 서브넷: 10.10.2.0/24 |
0:15 2:20007 21001:26000 10.0.4.0/32 제외 (0:15 3:20007 21001:26000) |
스파인 노드에서 BGP 정책은 Apstra가 다음 경로를 frontend-weka-leaf 1 리프 노드에 보급하도록 구성합니다.
- 스파인 노드 자체 루프백 인터페이스 주소
- frontend-ai-leaf1 루프백 인터페이스 주소
- 스파인 - frontend-ai-leaf1 노드 인터페이스 서브넷
- GPU 서버-frontend-ai-leaf1 노드 링크 서브넷
그림 123: WEKA 스토리지 헤드엔드 서버 BGP의 프론트엔드 스파인-프런트엔드 리프
그림 124: WEKA 스토리지 GPU 서버 BGP의 프론트엔드 스파인에서 프론트엔드 리프
표 39 WEKA 스토리지에 대한 프론트엔드 스파인에서 프론트엔드 리프까지 보급 경로
| 리프 노드 | 피어 | 보급된 경로 | BGP 커뮤니티 | |
|---|---|---|---|---|
| 프론트엔드 스파인1 | 프론트엔드-ai-리프 |
루프백: 10.0.3.0/32 10.0.4.1/32 리프-스파인 링크: 10.0.5.0/31 10.0.5.2/31 10.0.5.4/31 10.0.5.6/31 10.0.5.8/31 10.0.5.10/31 |
GPU 서버 <=> 프론트엔드 스파인 링크: 10.10.1.16/31 10.10.1.18/31 10.10.1.20/31 10.10.1.22/31 10.10.1.0/31 10.10.1.2/31 10.10.1.4/31 10.10.1.6/31 10.10.1.8/31 10.10.1.10/31 10.10.1.12/31 10.10.1.14/31 WEKA 서버의 관리 서브넷: 10.10.3.0/24 |
0:15 1:20007 21001:26000 10.0.4.1/32 제외 (0:15 4:20007 21001:26000) |
| 프론트엔드 스파인2 | 프론트엔드-ai-리프 |
루프백: 10.0.3.1/32 10.0.4.1/32 리프-스파인 링크: 10.0.5.0/31 10.0.5.2/31 10.0.5.8/31 10.0.5.10/31 10.0.5.12/31 10.0.5.14/31 |
GPU 서버 <=> 프론트엔드 스파인 링크: 10.10.1.16/31 10.10.1.18/31 10.10.1.20/31 10.10.1.22/31 10.10.1.0/31 10.10.1.2/31 10.10.1.4/31 10.10.1.6/31 10.10.1.8/31 10.10.1.10/31 10.10.1.12/31 10.10.1.14/31 WEKA 관리 서버의 서브넷: 10.10.3.0/24 |
0:15 2:20007 21001:26000 10.0.4.1/32 제외 (0:15 4:20007 21001:26000) |
리프 노드와 GPU/스토리지 서버 간의 링크에 할당된 서브넷을 보급함으로써 패브릭 전체에서 GPU와 WEKA 스토리지 및 WEKA 관리 서버 간의 통신이 가능합니다.
그림 125: GPU 서버에서 WEKA 스토리지 및 WEKA 관리 서버
GPU 백엔드 네트워크 연결
GPU 백엔드 패브릭은 리프와 스파인 노드 간의 링크가 /31 IP 주소로 구성되고 EBGP를 실행하는 레이어 3 IP 패브릭로 설계되었습니다. 패브릭은 2개의 스파인 노드와 8개의 스파인 노드(스트라이프당)로 구성됩니다.
각 리프 노드와 스파스파인 노드 사이에는 단일 400GE 링크가 있습니다.
그림 126: GPU 백엔드 스파인에서 GPU 백엔드 리프 노드로의 연결
표 40: GPU 백엔드 인터페이스 주소
| 스트라이프 # | 스파인 노드 | 리프 노드 | 스파인 IP 주소 | 리프 IP 주소 |
|---|---|---|---|---|
| 1 | GPU-백엔드-스파인 1 | GPU 백엔드 리프1 |
10.0.2.0/31 10.0.2.2/31 |
10.0.2.1/31 10.0.2.3/31 |
| 1 | GPU-백엔드-스파인 1 | GPU 백엔드 리프2 |
10.0.2.4/31 10.0.2.6/31 |
10.0.2.5/31 10.0.2.7/31 |
| 1 | GPU-백엔드-스파인 1 | GPU 백엔드 리프3 |
10.0.2.8/31 10.0.2.10/31 |
10.0.2.9/31 10.0.2.11/31 |
|
. . . |
||||
| 1 | GPU 백엔드 스파인 2 | GPU 백엔드 리프1 |
10.0.2.64/31 10.0.2.66/31 |
10.0.2.65/31 10.0.2.67/31 |
| 1 | GPU 백엔드 스파인 2 | GPU 백엔드 리프2 |
10.0.2.68/31 10.0.2.70/31 |
10.0.2.69/31 10.0.2.71/31 |
| 1 | GPU 백엔드 스파인 2 | GPU 백엔드 리프3 |
10.0.2.72/31 10.0.2.74/31 |
10.0.2.73/31 10.0.2.75/31 |
또한 루프백 인터페이스에는 사전 정의된 풀에서 Apstra가 자동으로 할당하는 주소가 있습니다.
표 41: GPU 백엔드 루프백 주소
| 스트라이프 # | 디바이스 | 루프백 인터페이스 주소 |
|---|---|---|
| 1 | GPU-백엔드-스파인1 | 10.0.0.0/32 |
| 1 | GPU 백엔드 스파인2 | 10.0.0.1/32 |
| 1 | GPU 백엔드 리프1 | 10.0.1.0/32 |
| 1 | GPU 백엔드 리프2 | 10.0.1.1/32 |
| 1 | GPU 백엔드 리프3 | 10.0.1.2/32 |
각 리프 노드에는 GPU 서버에 대한 연결을 제공하기 위해 10.200/16 중 /24 서브넷과 고유한 VLAN ID가 할당됩니다. 레이어 3 연결은 아래 표에 표시된 것처럼 특정 IP 서브넷 외부의 주소를 가진 irb 인터페이스를 통해 제공됩니다.
각 리프 노드는 주어진 번호의 모든 GPU가 연결되는 레일을 나타내기 때문에 클러스터의 각 레일은 다른 /24 IP 서브넷에 매핑됩니다.
그림 127: GPU 백엔드 서버에서 리프 노드로의 연결
표 128: GPU 백엔드 서버에서 리프 노드로의 연결
| 스트라이프 # | 디바이스 | 레일 # | VLAN # | 서브넷 | 리프의 IRB | 연결된 장치 |
|---|---|---|---|---|---|---|
| 1 | GPU 백엔드 리프 1 | 1 | 2 | 10.200.0.0/24 | 10.200.0.254 | GPU 서버 8개 모두에서 GPU 1개 |
| 1 | GPU 백엔드 리프 2 | 2 | 3 | 10.200.1.0/24 | 10.200.1.254 | GPU 서버 8개 모두에서 GPU 2개 |
| 1 | GPU 백엔드 리프 3 | 3 | 4 | 10.200.2.0/24 | 10.200.2.254 | GPU 서버 8개 모두에서 GPU 3 |
|
. . . |
||||||
EBGP는 그림 81과 같이 스파인-리프 노드 링크에 할당된 IP 주소 간에 구성됩니다. 각 gpu-backend-leaf # 노드와 각 gpu-backend-스파인 # 사이에는 2개의 EBGP 세션이 있습니다.
그림 129: GPU 백엔드 BGP 세션
표 43: GPU 백엔드 세션
| 스트라이프 # | 스파인 노드 | 리프 노드 | 스파인 ASN | 리프 ASN | 스파인 IP 주소 | 리프 IP 주소 |
|---|---|---|---|---|---|---|
| 1 | GPU-백엔드-스파인1 | GPU 백엔드 리프1 | 4201032100 | 4201032200 |
10.0.2.0/31 10.0.2.2/31 |
10.0.2.1/31 10.0.2.3/31 |
| 1 | GPU-백엔드-스파인1 | GPU 백엔드 리프2 | 4201032201 |
10.0.2.4/31 10.0.2.6/31 |
10.0.2.5/31 10.0.2.7/31 |
|
| 1 | GPU-백엔드-스파인1 | GPU 백엔드 리프3 | 4201032202 |
10.0.2.8/31 10.0.2.10/31 |
10.0.2.9/31 10.0.2.11/31 |
|
|
. . . |
||||||
| 1 | GPU 백엔드 스파인2 | GPU 백엔드 리프1 | 4201032101 | 4201032200 |
10.0.2.64/31 10.0.2.66/31 |
10.0.2.65/31 10.0.2.67/31 |
| 1 | GPU 백엔드 스파인2 | GPU 백엔드 리프2 | 4201032201 |
10.0.2.68/31 10.0.2.70/31 |
10.0.2.69/31 10.0.2.71/31 |
|
| 1 | GPU 백엔드 스파인2 | GPU 백엔드 리프3 | 4201032202 |
10.0.2.72/31 10.0.2.74/31 |
10.0.2.73/31 10.0.2.75/31 |
|
|
. . . |
리프 노드에서 Apstra는 BGP 정책을 구성하여 스파인 노드에 다음 경로를 보급합니다.
- 리프 노드 자체 루프백 인터페이스 주소
- 리프-스파인 인터페이스, 서브넷 및
- IRB 인터페이스 서브넷
그림 130: GPU 백엔드 리프 노드 BGP
표 44: GPU 백엔드 리프 노드 보급 경로
| 스트라이프 # | 디바이스 | 보급된 경로 | BGP 커뮤니티 |
|---|---|---|---|
| 1 | GPU 백엔드 리프 1 |
10.0.1.0/32 10.0.2.0/31 10.0.2.64/31 10.200.0.0/24 |
3:20007 21001:26000 |
| 1 | GPU 백엔드 리프 2 |
10.0.1.1/32 10.0.2.4/31 10.0.2.68/31 10.200.1.0/24 |
4:20007 21001:26000 |
| 1 | GPU 백엔드 리프 3 |
10.0.1.2/32 10.0.2.8/31 10.0.2.72/31 10.200.2.0/24 |
5:20007 21001:26000 |
스파인 노드에서 Apstra는 BGP 정책을 구성하여 리프 노드에 다음 경로를 광고합니다.
- 스파인 노드 자체 루프백 인터페이스 주소
- 리프 노드의 루프백 인터페이스 주소
- 스파인-리프 인터페이스 서브넷
- 아래에 표시된 바와 같이 IRB 인터페이스 서브넷입니다.
그림 131: GPU 백엔드 스파인 노드 BGP
표 45: GPU 백엔드 스파인 노드 보급 경로
| 스트라이프 # | 스파인 노드 | 보급된 경로 | BGP 커뮤니티 |
|---|---|---|---|
| 1 | GPU-백엔드-스파인 1 |
10.0.0.0/32 10.0.2.0/31 10.0.2.4/31 … 10.200.1.0/24 … |
0:15 엑스:20007 21001:26000 |
| 1 | GPU 백엔드 스파인 2 |
10.0.0.1/32 10.0.2.64/31 10.0.2.68/31 … 10.200.1.0/24 … |
0:15 엑스:20007 21001:26000 |
irb 인터페이스 서브넷을 보급함으로써 패브릭 전체에서 서로 다른 레일의 GPU 간 통신이 가능합니다.
그림 132: 레일 간 통신
스토리지 백엔드 네트워크 연결
스토리지 백엔드 패브릭은 아래 표와 같이 리프와 스파인 노드 간의 링크가 /31 IP 주소로 구성되는 레이어 3 IP 패브릭로 설계되었습니다. 패브릭은 2개의 스파인 노드와 4개의 리프 노드로 구성되며, 여기서 2개의 리프 노드는 스토리지 서버에 연결하는 데 사용되며(이름은 storage-backend-weka-leaf #), 2개는 GPU 서버에 연결하는 데 사용됩니다(이름: storage-backend-gpu-leaf #).
그림 133과 같이 각 storage-backend-weka-leaf # 노드와 스파인 노드 사이에는 3개의 400GE 링크가 있고 각 storage-backend-gpu-leaf # 노드와 스파인 노드 사이에는 2개의 400GE 링크가 있습니다.
그림 133: 스토리지 백엔드 스파인에서 스토리지 백엔드 GPU 리프 노드 연결
그림 134: 스토리지 백엔드 스파인에서 스토리지 백엔드 WEKA 스토리지 리프 노드 연결
표 46: 스토리지 백엔드 인터페이스 주소
| 스파인 노드 | 리프 노드 | 스파인 IP 주소 | 리프 IP 주소 |
|---|---|---|---|
| 스토리지 백엔드 스파인 1 | 스토리지 백엔드 GPU 리프 1 |
10.0.8.0/31 10.0.8.2/31 10.0.8.4/31 |
10.0.8.1/31 10.0.8.3/31 10.0.8.5/31 |
| 스토리지 백엔드 스파인1 | 스토리지 백엔드 GPU 리프2 |
10.0.8.6/31 10.0.8.8/31 10.0.8.10/31 |
10.0.8.7/31 10.0.8.9/31 10.0.8.11/31 |
| 스토리지 백엔드 스파인1 | 스토리지 백엔드 weka-leaf1 |
10.0.8.12/31 10.0.8.14/31 |
10.0.8.13/31 10.0.8.15/31 |
| 스토리지 백엔드 스파인1 | 스토리지-백엔드-weka-leaf2 |
10.0.8.16/31 10.0.8.18/31 |
10.0.8.17/31 10.0.8.19/31 |
| 스토리지 백엔드 스파인2 | 스토리지 백엔드 GPU 리프1 |
10.0.8.20/31 10.0.8.22/31 10.0.8.24/31 |
10.0.8.21/31 10.0.8.23/31 10.0.8.25/31 |
| 스토리지 백엔드 스파인2 | 스토리지 백엔드 GPU 리프2 |
10.0.8.26/31 10.0.8.28/31 10.0.8.30/31 |
10.0.8.27/31 10.0.8.29/31 10.0.8.31/31 |
| 스토리지 백엔드 스파인2 | 스토리지 백엔드 weka-leaf1 |
10.0.8.32/31 10.0.8.34/31 |
10.0.8.33/31 10.0.8.35/31 |
| 스토리지 백엔드 스파인2 | 스토리지-백엔드-weka-leaf2 |
10.0.8.36/31 10.0.8.38/31 |
10.0.8.37/31 10.0.8.39/31 |
또한 루프백 인터페이스에는 사전 정의된 풀에서 Apstra가 자동으로 할당하는 주소가 있습니다.
표 47: 스토리지 백엔드 루프백 인터페이스
| 디바이스 | 루프백 인터페이스 주소 |
|---|---|
| 스토리지 백엔드 스파인1 | 10.0.6.0/32 |
| 스토리지 백엔드 스파인2 | 10.0.6.1/32 |
| 스토리지 백엔드 GPU 리프1 | 10.0.7.0/32 |
| 스토리지 백엔드 GPU 리프2 | 10.0.7.1/32 |
| 스토리지 백엔드 weka-leaf1 | 10.0.7.2/32 |
| 스토리지-백엔드-weka-leaf2 | 10.0.7.3/32 |
H100 GPU 서버 및 A100 GPU 서버는 다음 표에 요약된 대로 스토리지 백엔드 리프 스위치에 연결됩니다.
표 48: 리프 노드에 대한 스토리지 GPU 백엔드 서버 연결
| GPU 서버 | 리프 노드 |
|---|---|
| H100-1 | 스토리지 백엔드 GPU 리프1 |
| H100-2 | |
| A100-1 | |
| A100-2 | |
| A100-3 | |
| A100-4 | |
| H100-3 | 스토리지 백엔드 GPU 리프2 |
| H100-4 | |
| A100-5 | |
| A100-6 | |
| A100-7 | |
| A100-8 |
그림 135와 같이 GPU 서버와 storage-backend-gpu-leaf 1 간의 링크에는 10.100.1/24 중 /31 서브넷이 할당되는 반면, GPU 서버와 storage-backend-gpu-leaf 2 간의 링크에는 10.100.2/24 중 /31 서브넷이 할당됩니다.
그림 135: GPU 서버에서 스토리지 백엔드 GPU 리프 노드에 연결
표 49: GPU 서버에서 스토리지 GPU 백엔드 인터페이스 주소로 이동
| GPU 서버 | 리프 노드 | GPU 서버 IP 주소 | 리프 IP 주소 |
|---|---|---|---|
| H100 GPU 서버 1 | 스토리지 백엔드 GPU 리프 1 | 10.100.1.8/31 | 10.100.1.9/31 |
| H100 GPU 서버 2 | 스토리지 백엔드 GPU 리프 1 | 10.100.1.10/31 | 10.100.1.11/31 |
| A100 GPU 서버 1 | 스토리지 백엔드 GPU 리프 1 | 10.100.1.0/31 | 10.100.1.1/31 |
| A100 GPU 서버 2 | 스토리지 백엔드 GPU 리프 1 | 10.100.1.2/31 | 10.100.1.3/31 |
| A100 GPU 서버 3 | 스토리지 백엔드 GPU 리프 1 | 10.100.1.4/31 | 10.100.1.5/31 |
| A100 GPU 서버 4 | 스토리지 백엔드 GPU 리프 1 | 10.100.1.6/31 | 10.100.1.7/31 |
| H100 GPU 서버 3 | 스토리지 백엔드 GPU 리프 2 | 10.100.2.8/31 | 10.100.2.9/31 |
| H100 GPU 서버 4 | 스토리지 백엔드 GPU 리프 2 | 10.100.2.10/31 | 10.100.2.11/31 |
| A100 GPU 서버 5 | 스토리지 백엔드 GPU 리프 2 | 10.100.2.0/31 | 10.100.2.1/31 |
| A100 GPU 서버 6 | 스토리지 백엔드 GPU 리프 2 | 10.100.2.2/31 | 10.100.2.3/31 |
| A100 GPU 서버 7 | 스토리지 백엔드 GPU 리프 2 | 10.100.2.4/31 | 10.100.2.5/31 |
| A100 GPU 서버 8 | 스토리지 백엔드 GPU 리프 2 | 10.100.2.6/31 | 10.100.2.7/31 |
GPU 서버와 마찬가지로 WEKA 스토리지 서버는 그림 136과 같이 두 개의 storage-backend-weka-leaf # 노드에 연결됩니다.
그림 136: WEKA 스토리지 서버에서 리프 노드로의 연결
각 GPU 서버에서 리프 노드에 대한 연결은 다음 표와 같이 10.100.0.0/24 중 /31 서브넷에 할당됩니다.
표 50: WEKA 스토리지 서버 - 리프 노드 인터페이스 주소
| WEKA 서버 | 리프 노드 | WEKA 서버 IP 주소 | 리프 IP 주소 |
|---|---|---|---|
| WEKA 스토리지 서버 1 | 스토리지 백엔드 weka-리프 1 | 10.100.0.0/31 | 10.100.0.1/31 |
| WEKA 스토리지 서버 2 | 스토리지 백엔드 weka-리프 1 | 10.100.0.2/31 | 10.100.0.3/31 |
| WEKA 스토리지 서버 3 | 스토리지 백엔드 weka-리프 1 | 10.100.0.4/31 | 10.100.0.5/31 |
| WEKA 스토리지 서버 4 | 스토리지 백엔드 weka-리프 1 | 10.100.0.5/31 | 10.100.0.7/31 |
| WEKA 스토리지 서버 5 | 스토리지 백엔드 weka-리프 1 | 10.100.0.8/31 | 10.100.0.9/31 |
| WEKA 스토리지 서버 6 | 스토리지 백엔드 weka-리프 1 | 10.100.0.10/31 | 10.100.0.11/31 |
| WEKA 스토리지 서버 7 | 스토리지 백엔드 weka-리프 1 | 10.100.0.12/31 | 10.100.0.13/31 |
| WEKA 스토리지 서버 8 | 스토리지 백엔드 weka-리프 1 | 10.100.0.14/31 | 10.100.0.15/31 |
| WEKA 스토리지 서버 1 | 스토리지-백엔드-weka-리프 2 | 10.100.0.16/31 | 10.100.0.17/31 |
| WEKA 스토리지 서버 2 | 스토리지-백엔드-weka-리프 2 | 10.100.0.18/31 | 10.100.0.19/31 |
| WEKA 스토리지 서버 3 | 스토리지-백엔드-weka-리프 2 | 10.100.0.20/31 | 10.100.0.21/31 |
| WEKA 스토리지 서버 4 | 스토리지-백엔드-weka-리프 2 | 10.100.0.22/31 | 10.100.0.23/31 |
| WEKA 스토리지 서버 5 | 스토리지-백엔드-weka-리프 2 | 10.100.0.24/31 | 10.100.0.25/31 |
| WEKA 스토리지 서버 6 | 스토리지-백엔드-weka-리프 2 | 10.100.0.26/31 | 10.100.0.27/31 |
| WEKA 스토리지 서버 7 | 스토리지-백엔드-weka-리프 2 | 10.100.0.28/31 | 10.100.0.29/31 |
| WEKA 스토리지 서버 8 | 스토리지-백엔드-weka-리프 2 | 10.100.0.30/31 | 10.100.0.31/31 |
이 경우 리프 노드는 물리적 인터페이스를 사용하여 스토리지 서버에 연결합니다. 따라서 이 연결에는 irb 인터페이스 또는 VLAN ID가 사용되지 않습니다.
EBGP는 그림 93과 같이 스파인과 리프 노드 간의 링크에 할당된 IP 주소 간에 구성됩니다.
각 storage-backend-weka-leaf # 노드와 스파스파인 노드 사이에는 3개의 EBGP 세션이 있습니다. 마찬가지로 각 storage-backend-gpu-leaf # 노드 간에는 2개의 EBGP 세션이 있습니다.
그림 137: GPU 서버용 스토리지 백엔드 스파인에서 스토리지 백엔드 리프 EBGP
그림 138: WEKA 서버용 스토리지 백엔드 스파인에서 스토리지 백엔드 리프 EBGP 
표 51: 스토리지 백엔드 세션
| 스파인 노드 | 리프 노드 | 스파인 ASN | 리프 ASN | 스파인 IP 주소 | 리프 IP 주소 |
|---|---|---|---|---|---|
| 스토리지 백엔드 스파인1 | 스토리지 백엔드 GPU 리프1 | 4201032500 | 4201032600 |
10.0.8.0/31 10.0.8.2/31 10.0.8.4/31 |
10.0.8.1/31 10.0.8.3/31 10.0.8.5/31 |
| 스토리지 백엔드 스파인1 | 스토리지 백엔드 GPU 리프2 | 4201032601 |
10.0.8.6/31 10.0.8.8/31 10.0.8.10/31 |
10.0.8.7/31 10.0.8.9/31 10.0.8.11/31 |
|
| 스토리지 백엔드 스파인1 | 스토리지 백엔드 weka-leaf1 | 4201032602 |
10.0.8.12/31 10.0.8.14/31 |
10.0.8.13/31 10.0.8.15/31 |
|
| 스토리지 백엔드 스파인1 | 스토리지-백엔드-weka-leaf2 | 4201032603 |
10.0.8.16/31 10.0.8.18/31 |
10.0.8.17/31 10.0.8.19/31 |
|
| 스토리지 백엔드 스파인2 | 스토리지 백엔드 GPU 리프1 | 4201032501 | 4201032600 |
10.0.8.20/31 10.0.8.22/31 10.0.8.24/31 |
10.0.8.21/31 10.0.8.23/31 10.0.8.25/31 |
| 스토리지 백엔드 스파인2 | 스토리지 백엔드 GPU 리프2 | 4201032601 |
10.0.8.26/31 10.0.8.28/31 10.0.8.30/31 |
10.0.8.27/31 10.0.8.29/31 10.0.8.31/31 |
|
| 스토리지 백엔드 스파인2 | 스토리지 백엔드 weka-leaf1 | 4201032602 |
10.0.8.32/31 10.0.8.34/31 |
10.0.8.33/31 10.0.8.35/31 |
|
| 스토리지 백엔드 스파인2 | 스토리지-백엔드-weka-leaf2 | 4201032603 |
10.0.8.36/31 10.0.8.38/31 |
10.0.8.37/31 10.0.8.39/31 |
리프 노드에서 BGP 정책은 Apstra가 스파인 노드에 다음 경로를 보급하도록 구성합니다.
- 리프 노드 자체 루프백 인터페이스 주소,
- 리프-스파인 인터페이스, 서브넷 및
- GPU/WEKA 스토리지 서버 - 리프 노드 링크 서브넷.
그림 139: 스토리지 백엔드 리프 BGP
표 52: 스토리지 백엔드 리프 노드 보급 경로
| 리프 노드 | 피어 | 보급된 경로 | BGP 커뮤니티 | |
|---|---|---|---|---|
| 스토리지 백엔드 GPU 리프1 |
storage-backend-spine1 및 스토리지 백엔드 스파인2 |
10.0.7.0/32 10.0.8.0/31 10.0.8.2/31 10.0.8.4/31 10.0.8.20/31 … |
10.100.1.0/31 10.100.1.2/31 … |
3:20007 21001:26000 |
| 스토리지 백엔드 GPU 리프2 |
storage-backend-spine1 및 스토리지 백엔드 스파인2 |
10.0.7.1/32 10.0.8.6/31 10.0.8.8/31 10.0.8.10/31 10.0.8.26/31 … |
10.100.2.0/31 10.100.2.2/31 … |
4:20007 21001:26000 |
| 스토리지 백엔드 weka-leaf1 |
storage-backend-spine1 및 스토리지 백엔드 스파인2 |
10.0.7.2/32 10.0.8.12/31 10.0.8.14/31 10.0.8.32/31 … |
10.100.0.16/31 10.100.0.18/31 … |
5:20007 21001:26000 |
| 스토리지-백엔드-weka-leaf2 |
storage-backend-spine1 및 스토리지 백엔드 스파인2 |
10.0.7.3/32 10.0.8.16/31 10.0.8.17/31 10.0.8.36/31 … |
10.100.0.16/31 10.100.0.18/31 … |
6:20007 21001:26000 |
스파인 노드에서 Apstra는 BGP 정책을 구성하여 리프 노드에 다음 경로를 광고합니다.
- 스파인 노드 자체 루프백 인터페이스 주소
- 리프 노드의 루프백 인터페이스 주소
- 스파인-리프 인터페이스 서브넷
- GPU/WEKA 스토리지 서버 - 리프 노드 링크 서브넷.
그림 140: 스토리지 백엔드 스파인 BGP
표 53: 스토리지 백엔드 스파인 노드 보급 경로
| 스파인 노드 | 피어 | 보급된 경로 | BGP 커뮤니티 | ||
|---|---|---|---|---|---|
| 스토리지 백엔드 스파인1 | 스토리지 백엔드 GPU 리프1 |
10.0.6.0/32 10.0.7.1/32 10.0.7.2/32 10.0.7.3/32 |
10.0.8.6/31 10.0.8.8/31 10.0.8.10/31 10.0.8.12/31 10.0.8.14/31 … |
10.100.0.0/31 10.100.0.2/31 … 10.100.2.0/31 10.100.2.2/31 … |
3:20007 21001:26000 |
| 스토리지 백엔드 GPU 리프2 |
10.0.6.0/32 10.0.7.0/32 10.0.7.2/32 10.0.7.3/32 |
10.0.8.0/31 10.0.8.2/31 10.0.8.4/31 10.0.8.12/31 10.0.8.14/31 … |
10.100.0.0/31 10.100.0.2/31 … 10.100.1.0/31 10.100.1.2/31 … |
||
| 스토리지 백엔드 weka-리프 1 |
10.0.6.0/32 10.0.7.0/32 10.0.7.1/32 10.0.7.3/32 |
10.0.8.0/31 10.0.8.2/31 10.0.8.4/31 … |
10.100.0.0/31 10.100.0.2/31 … 10.100.1.0/31 10.100.1.2/31 … 10.100.2.0/31 10.100.2.2/31 … |
||
| 스토리지-백엔드-weka-리프 2 |
10.0.6.0/32 10.0.7.0/32 10.0.7.1/32 10.0.7.2/32 |
10.0.8.0/31 10.0.8.2/31 10.0.8.4/31 10.0.8.20/31 … |
10.100.0.0/31 10.100.0.2/31 … 10.100.1.0/31 10.100.1.2/31 … 10.100.2.0/31 10.100.2.2/31 … |
||
| 스토리지 백엔드 스파인2 | 스토리지 백엔드 GPU 리프1 |
10.0.6.1/32 10.0.7.1/32 10.0.7.2/32 10.0.7.3/32 |
10.0.8.6/31 10.0.8.8/31 10.0.8.10/31 10.0.8.12/31 10.0.8.14/31 … |
10.100.0.0/31 10.100.0.2/31 … 10.100.2.0/31 10.100.2.2/31 … |
4:20007 21001:26000 |
| 스토리지 백엔드 GPU 리프2 |
10.0.6.1/32 10.0.7.0/32 10.0.7.2/32 10.0.7.3/32 |
10.0.8.0/31 10.0.8.2/31 10.0.8.4/31 10.0.8.12/31 10.0.8.14/31 … |
10.100.0.0/31 10.100.0.2/31 … 10.100.2.0/31 10.100.2.2/31 … |
||
| 스토리지 백엔드 weka-리프 1 |
10.0.6.1/32 10.0.7.0/32 10.0.7.1/32 10.0.7.3/32 |
10.0.8.0/31 10.0.8.2/31 10.0.8.4/31 … |
10.100.0.0/31 10.100.0.2/31 … 10.100.1.0/31 10.100.1.2/31 … 10.100.2.0/31 10.100.2.2/31 … |
||
| 스토리지-백엔드-weka-리프 2 |
10.0.6.0/32 10.0.7.1/32 10.0.7.2/32 10.0.7.3/32 |
10.0.8.6/31 10.0.8.8/31 10.0.8.10/31 10.0.8.12/31 10.0.8.14/31 … |
10.100.0.0/31 10.100.0.2/31 … 10.100.2.0/31 10.100.2.2/31 … |
||
리프 노드와 GPU/스토리지 서버 간의 링크에 할당된 서브넷을 보급함으로써 패브릭 전체에서 GPU와 스토리지 서버 간의 통신이 가능합니다.
그림 141: 스토리지 서브넷 보급
