InfiniBand NDR и XDR против Ethernet: сети для AI-суперкластеров

Scale-up vs Scale-out: два уровня сети AI-кластера

Современный AI-кластер использует два совершенно разных вида сетей:

• Scale-up (NVLink/NVSwitch) — внутри одного узла или стойки. Связывает GPU друг с другом напрямую. Скорость: 900 ГБ/с (NVLink 4) или 1,8 ТБ/с (NVLink 5 в Blackwell). Область: тензорный параллелизм, когда одна модель распределяется по нескольким GPU.

• Scale-out (InfiniBand или Ethernet) — между узлами, стойками, зданиями. Скорость: 400–800 Гбит/с на порт. Область: градиентный AllReduce между тысячами узлов при распределённом обучении.

Путать эти уровни — распространённая ошибка при проектировании кластеров.

Поколения InfiniBand

Параметр	HDR	NDR	XDR
Полоса на порт	200 Гбит/с	400 Гбит/с	800 Гбит/с
Коммутатор NVIDIA	QM8790	Quantum-2 QM9700	Quantum-X800 3450-LD
Портов на коммутатор	40	64	144
Совокупная полоса	~8 Тбит/с	25,6 Тбит/с	115 Тбит/с
HCA-адаптер	ConnectX-6	ConnectX-7	ConnectX-8
PCIe	Gen4	Gen5 ×16	Gen6 (48 лейнов + встроенный коммутатор)
Статус	Legacy	Текущий стандарт	H2 2025

Quantum-2 (NDR): текущий стандарт

NVIDIA Quantum-2 QM9700 — основной коммутатор для NDR-кластеров 2023–2025.

• 64 порта × NDR400 или 128 портов × NDR200 (split mode)
• 25,6 Тбит/с полнодуплексно
• Масштаб фабрики: до 2 048 портов × 400 Гбит/с
• NVIDIA SHARP 3.0 — in-network AllReduce: агрегация градиентов прямо в коммутаторе без участия CPU/GPU. Сокращает трафик AllReduce на 50–75%.
• Потребление: 747 Вт (медный DAC) / до 1 500 Вт (многомодовое волокно)

ConnectX-7 HCA:

• PCIe Gen5 ×16, 1 или 2 порта OSFP (400G каждый)
• Поддерживает NDR400 InfiniBand и 400GbE Ethernet на одном чипе
• GPUDirect RDMA и GPUDirect Storage: 2× производительность vs ConnectX-6

Quantum-X800 (XDR): 115 Тбит/с с CPO

NVIDIA Quantum 3450-LD — флагман XDR, доступен с H2 2025.

Параметр	Значение
Портов	144 × 800 Гбит/с
Совокупная полоса	115 Тбит/с
Архитектура	4 модуля Quantum-X с Co-Packaged Optics
SerDes	224 Гбит/с на линию
Охлаждение	Жидкостное
Целевые системы	GB300 NVL72, NVL36 (Blackwell Ultra)

Co-Packaged Optics (CPO): 30 Вт/порт (традиционный) → 9 Вт/порт (CPO). В масштабе кластера из 100 000 GPU — экономия десятков мегаватт.

ConnectX-8 HCA: PCIe Gen6 (48 лейнов + встроенный PCIe Gen6 коммутатор), DPA-процессор (RISC-V) для маршрутизации и управления перегрузкой.

NVIDIA Spectrum-X: Ethernet как конкурент InfiniBand

NVIDIA создала специализированный Ethernet-стек для AI-задач — Spectrum-X — с BlueField DPU для разгрузки сетевой обработки.

Модель	Портов	Полоса
SN5600 (400G, текущий)	128 × 400 Гбит/с	51,2 Тбит/с
SN6810 (800G CPO, H2 2026)	128	102,4 Тбит/с
SN6800 (800G, 4 чипа, 2026+)	512	409,6 Тбит/с

Преимущества Spectrum-X перед InfiniBand NDR:

• В 2× больше портов на коммутатор при равной скорости
• Совместимость со стандартным Ethernet
• First-class поддержка NCCL без снижения производительности
• Arista сообщает о +10% улучшении Job Completion Time на ряде конфигураций

Недостатки:

• +400 Вт на узел (требуется BlueField-3 DPU)
• +5 МВт дополнительного потребления на кластер из 100 000 GPU vs Broadcom Tomahawk 5
• Требует проприетарных NVIDIA LinkX трансиверов

Реальные кластеры

Компания	Кластер	GPU	Сеть
xAI	Colossus	100 000 × H100	Spectrum-X Ethernet
Meta	AI Research SuperCluster	24 576 × H100 (×2 очереди)	IB + отдельный Ethernet
AWS	UltraCluster	16 384 × GH200	EFA 2 (собственный RoCE)
Большинство HPC	TOP500	Разные	InfiniBand NDR

NVLink vs InfiniBand: разделение ролей

	NVLink 5 / NVSwitch	InfiniBand NDR/XDR
Роль	Scale-up (внутри пода/стойки)	Scale-out (между узлами)
Полоса	1,8 ТБ/с на GPU	400–800 Гбит/с на узел
Применение	Тензорный и модельный параллелизм	Градиентный параллелизм
Масштаб	72 GPU в NVL72 как единый пул	Тысячи–сотни тысяч GPU

Дорожная карта NVLink:

• NVLink 5 (Blackwell, 2024): 1,8 ТБ/с
• NVLink 7 (Vera-Rubin, H2 2026): 3,6 ТБ/с
• NVLink 7 Ultra (Rubin Ultra, H2 2027): 7,2 ТБ/с

Сдвиг рынка: InfiniBand → Ethernet

• Начало 2024: ~90% AI-кластеров использовали InfiniBand
• Выручка NVIDIA от сетей: ~$10 млрд/год (2024), ~85% — InfiniBand
• Прогноз Dell'Oro: к 2027 Ethernet забирает 20 процентных пунктов у InfiniBand
• Прогноз Gartner: к 2026 InfiniBand и Ethernet достигают паритета (~25% каждый)
• 2025 — переломный год: с поколением Blackwell NVIDIA впервые отгружает больше Spectrum-X, чем Quantum InfiniBand

RUSSTEK поставляет кластерные InfiniBand-решения NVIDIA (ConnectX-7/8, Quantum-2), Ethernet AI-фабрики Arista и Spectrum-X для AI-инфраструктуры любого масштаба.