CXL 3.0: расширение и пулинг памяти для AI-серверов

Кризис памяти в эпоху LLM

Большие языковые модели создали беспрецедентное давление на GPU-память. Только KV Cache (кэш ключей и значений для механизма внимания) при длинных контекстах занимает 80–120 ГБ на один GPU. Это создаёт две проблемы: модель не помещается в VRAM одного GPU, а попытка масштабировать через tensor parallelism добавляет накладные расходы на синхронизацию.

CXL (Compute Express Link) предлагает иной подход: расширить адресуемую память сервера через стандартизированный PCIe-интерфейс с задержками, на порядок лучшими, чем у NVMe или RDMA.

Версии CXL: эволюция протокола

Параметр	CXL 2.0	CXL 3.0/3.1	CXL 4.0 (ноябрь 2025)
Физический уровень	PCIe 5.0	PCIe 6.0/6.1	PCIe 7.0
Полоса (x16)	~64 ГБ/с	~128–256 ГБ/с	1 536 ГБ/с (пакет)
Скорость сигнала	32 ГТ/с	64 ГТ/с	128 ГТ/с
Задержка доступа	200–400 нс	100–300 нс	ожидается ниже
Топология памяти	1:1 хост-устройство	фабрика с несколькими хостами	многостоечная (до 4 ретаймеров)
Общая память нескольких хостов	Ограниченно	Полная (одновременный доступ)	Расширена

Ключевое отличие CXL 3.0: true shared memory — несколько хостов одновременно читают и записывают в одну область памяти с когерентным видом данных. Это открывает path к rack-scale пулингу памяти.

Задержки: CXL против других технологий

Технология	Задержка доступа
Локальная DDR5 DRAM	60–80 нс
CXL 2.0 (расширение)	200–400 нс
CXL 3.0 (один хоп через коммутатор)	110–150 нс
RDMA (InfiniBand/RoCE)	1 000–5 000 нс
NVMe SSD	100 000–500 000 нс

CXL в 3–7× медленнее локальной DRAM — но в 3–50× быстрее любой альтернативы при необходимости расширить объём. В производственном развёртывании Meta зафиксированы ~60% накладных расходов по задержке относительно локального DDR5 при 10× более низкой пропускной способности — приемлемый компромисс для «холодных» данных.

CXL DIMM модули: производители

Samsung CMM-D

Поколение	Ёмкость	Полоса	Стандарт	Статус
CMM-D 1.1	128 ГБ	—	CXL 1.1	В производстве
CMM-D 2.0	до 256 ГБ	36 ГБ/с	CXL 2.0 / PCIe Gen5	Образцы 2025
CMM-D 3.1	до 1 ТБ	72 ГБ/с	CXL 3.0 / PCIe Gen6	Целевой design-in конец 2025

Samsung CMM-D 2.0 имеет открытую прошивку — первый CXL-продукт с open-source firmware. Результаты в AI: +19% производительности для VectorDB и RAG-приложений по сравнению с чистой DRAM-конфигурацией (за счёт большего суммарного объёма памяти).

SK Hynix CMM-DDR5

• 96 ГБ, 1anm техпроцесс, форм-фактор EDSFF E3.S
• PCIe 5.0 x8, собственный контроллер DDR5 + CXL
• Совместно с контроллером Montage Technology
• Развёрнут в SK Telecom Petasus AI Cloud

Micron

• CXL 2.0, 96 ГБ DDR5 модули расширения
• H3 Falcon система: до 20× прирост производительности для графовых баз данных

CXL-коммутаторы

Astera Labs Leo — CXL Smart Memory Controller (CXL 1.1/2.0):

• Задержка 50 нс, до 2 ТБ на контроллер, DDR5-5600
• Развёрнут в Microsoft Azure (ноябрь 2025 — первые CXL-экземпляры в публичном облаке)

XConn Apollo 2 — CXL 3.1 / PCIe Gen6.2:

• 64–260 лейнов, прямой доступ GPU к CXL-пулам памяти
• Гибридная PCIe/CXL архитектура

Astera Labs Scorpio X — 320-лейновый AI Fabric Switch:

• Поддержка PCIe / CXL / Ethernet / NVLink Fusion / UALink
• Production ramp H2 2026

Реальные производственные развёртывания

Microsoft Azure (ноябрь 2025)

Первые в отрасли облачные экземпляры с CXL (серия M-series VM). Контроллер: Astera Labs Leo. Microsoft оценивает: пулинг CXL снижает потребность в памяти на 10% → 5% экономии на стоимости серверов в масштабе Azure.

Meta Vistara (2026)

Meta разработала кастомный CXL ASIC для повторного использования DDR4-памяти с выводимых из эксплуатации серверов — подключение к новым DDR5-серверам через CXL практически без затрат.

Результаты:

• 25% снижение числа серверов для disaggregated ML inference
• 29% снижение средней задержки для распределённых кэшей
• Программа Transparent Page Placement (TPP) автоматически распределяет данные между локальной и CXL-памятью

KV Cache на CXL: сравнение с альтернативами

KV Cache — главный потребитель памяти при LLM-инференсе. Варианты его размещения:

Метод	Задержка доступа	Примечание
GPU HBM	1–2 нс	Дорого, ограниченный объём
CXL DRAM	100–400 нс	3,8× быстрее 200G RDMA
200G RDMA	~1 500 нс	Стандарт для disaggregation
100G RDMA	~3 000 нс	Старая инфраструктура
NVMe SSD	>100 000 нс	Приемлемо только для оффлайн-батчей

Astera Labs (пулинг CXL для LLM inference): 3× больше одновременных LLM-экземпляров, 3× снижение задержки. XConn + MemVerge (KV Cache на CXL): >5× производительность vs SSD-кэширование.

Временная шкала CXL

Период	Событие
2023–2024	AMD EPYC Genoa: нативный CXL Type-3; Samsung CMM-D 1.1 в производстве
Q1 2025	XConn Apollo 2 (CXL 3.1/PCIe Gen6.2) анонсирован
Q4 2025	Samsung CMM-D 2.0 (256 ГБ); CXL 4.0 спецификация (18 ноября 2025)
Ноябрь 2025	Microsoft Azure — первые CXL cloud-экземпляры
2026	>90% новых серверов с CXL-совместимостью; Astera Scorpio X
2027	CXL 4.0 многостоечные системы; массовое развёртывание

RUSSTEK поставляет серверы с поддержкой CXL на базе AMD EPYC Genoa/Bergamo и Intel Xeon 4th Gen, а также модули расширения памяти Samsung CMM-D.