400GbE и 800GbE: новое поколение сетей для AI-кластеров

Почему AI-кластерам нужны 400GbE и 800GbE

Традиционные 100GbE-сети, достаточные для веб-трафика и корпоративных задач, становятся узким местом в AI-кластерах: один GPU H100 генерирует до 400 Гбит/с данных при AllReduce-операциях в распределённом обучении. Кластер из 10 000 GPU создаёт петабитные требования к внутренней сети.

Мировой рынок Ethernet-коммутаторов в Q3 2025 достиг рекорда — $14,7 млрд (+35,2% год к году). Коммутаторы 200G/400G/800G обеспечили $5,43 млрд (37% рынка). Порты 200G+ — уже почти треть всех отгружаемых портов.

Broadcom Tomahawk 5: 51,2 Тбит/с на монолитном кристалле

Tomahawk 5 (BCM78900) — 5 нм монолитный кристалл, последний в линейке без чиплетной архитектуры.

Параметр	Значение
Совокупная полоса	51,2 Тбит/с
Конфигурации портов	64×800GbE / 128×400GbE / 256×200GbE
SerDes	512 линий, 106 Гбит/с PAM4
Поддержка	RoCEv2, VxLAN, PTP, SyncE

Платформа CPO «Bailly» (представлена на OFC 2023) интегрирует восемь 64-канальных кремниевых фотонных движков прямо в корпус — 5,5 Вт на 800 Гбит/с против 6,4 Вт у Tomahawk 4 с внешними трансиверами.

Tomahawk 6 (102,4 Тбит/с, чиплетная архитектура) — анонсирован.

Tomahawk Ultra (доступность H1 2026):

• 51,2 Тбит/с, задержка порт-порт 250 нс
• 77 млрд пакетов/с
• Нативная поддержка UEC: заголовки 10 байт (vs 46 байт у стандартного IPv4/UDP)
• Встроенные Link-Level Retry, CBFC и коллективные операции в сети

Коммутаторы 800GbE: текущее предложение

Arista Networks:

Модель	ASIC	Порты 800G	Примечание
7800R4 (шасси)	Jericho 3+	до 576	HyperPort: 4×800G → 3,2 Тбит/с, Q1 2026
7280R4 (фиксированный)	Jericho 3+	32	На 20–25% экономичнее 7280R3
7700R4 (AI-фабрика)	Jericho 3-AI	до 18	Масштабируется до 27 648 GPU

7800R4 vs 7800R3: снижение энергопотребления на 65%.

Форм-факторы трансиверов для 800GbE

Форм-фактор	Полос	Скорость/полоса	Протяжённость
OSFP	8	100G PAM4	DAC до 3 м; оптика до 10 км
QSFP-DD800	8	100G PAM4	DAC до 2 м; оптика до 10 км
CPO (встроенная)	—	—	Нет разъёма, оптика в корпусе

Co-Packaged Optics (CPO) — ключевая технология снижения энергопотребления:

• Традиционный трансивер: DSP 20 Вт + EML 10 Вт = 30 Вт на порт
• CPO: лазер непрерывного излучения 2 Вт + оптический движок 7 Вт = 9 Вт на порт (снижение в 3,3×)
• Первые производственные CPO-продукты в ЦОД появились в 2025 году

Ultra Ethernet Consortium (UEC): открытый стандарт для AI

UEC основан в середине 2023 года под эгидой Linux Foundation. Основатели: Cisco, Arista, HPE, Intel. К релизу спецификации (июнь 2025): 100+ компаний-членов, включая AMD, Broadcom, Meta, Microsoft, Dell, Samsung, Nokia.

Задача: открытая, многовендорная альтернатива InfiniBand для AI-кластеров с миллионом+ узлов.

Почему стандартного RoCEv2 недостаточно

RoCEv2 требует lossless-фабрики (PFC/DCB), что порождает:

• PFC pause storms — каскадный шторм паузы при перегрузке
• Сложную конфигурацию (хрупкая настройка per-port, per-VLAN)
• Задержки 5–6 мкс vs 1,2 мкс у InfiniBand
• Масштабирование до десятков тысяч узлов — не до миллионов

UEC Spec 1.0 (выпущен 11 июня 2025, 562 страницы)

Ключевые инновации протокола Ultra Ethernet Transport (UET):

1. Безсоединительная модель PDC — контексты доставки передаются в заголовках пакетов, нет накладных расходов на установку соединения. Масштабирование до 1 млн+ узлов (vs постоянные Queue Pairs InfiniBand).

2. Маршрутизация per-packet (REPS) — отдельные пакеты одного сообщения рассылаются по всем ECMP-маршрутам одновременно. Feedback-петля концентрирует трафик на менее загруженных путях — устраняет поляризацию трафика, которая мешает flow-level ECMP.

3. Packet Trimming — вместо молчаливого сброса перегруженных пакетов коммутатор укорачивает их до заголовков и пересылает с повышенным приоритетом. Получатель мгновенно знает, что потеряно — намного быстрее таймаут-обнаружения.

4. Двойное управление перегрузкой:

• NSCC (на стороне отправителя): ECN + измерение RTT, алгоритм Quick Adapt
• RCCC (на стороне получателя): явные кредиты полосы, специально для incast-сценариев (одновременная отправка градиентов всеми GPU)

5. Link Level Retry (LLR) — локальная перепередача на каждом хопе для физических ошибок бита. Транспортный уровень не задействуется.

UEC vs InfiniBand

Метрика	UEC (800G)	InfiniBand NDR	RoCEv2
Задержка порт-порт	~1,9 мкс	~1,2 мкс	5–6 мкс
Задержка хопа (TH Ultra)	250 нс	~240 нс	600–700 нс
Макс. узлов	1 000 000+	десятки тысяч	десятки тысяч
Lossless-фабрика	Не требуется	Обязательна	Обязательна
Per-packet multipath	Да	Нет	Нет
Экосистема	Открытая	Проприетарная (NVIDIA)	Полуоткрытая

Первая публичная интероперабельная демонстрация UET: август 2025, Interop25 Tokyo (VIAVI, Juniper, TOYO). Broadcom Tomahawk Ultra с нативной UEC — доступность H1 2026.

RUSSTEK поставляет Ethernet-коммутаторы и адаптеры 100/400/800GbE от Arista, NVIDIA и Broadcom для построения AI-фабрик и инфраструктуры ЦОД.