Supermicro AS-8125GS-TNHR (8× H100 SXM 80GB)

Технические характеристики

Описание

Платформа с HGX H100 80GB (8×SXM) рассчитана на Обучение моделей (Training), Дообучение моделей (Fine-tuning), Инференс / Развертывание (Inference), RAG-системы (Retrieval-Augmented Generation) и HPC / Научные расчёты в сценариях, где важны multi-GPU масштабирование и высокая пропускная способность GPU-подсистема H100 (Hopper) поддерживает FP16/FP8/INT8 и использует HBM3, в данной сборке суммарно 640GB VRAM (8×80GB), а связка NVLink + NVSwitch ориентирована на интенсивные меж-GPU обмены при обучении и больших моделях. Ограничения, о которых важно помнить: M.2 NVMe предназначен только под загрузочный диск, а NVMe-конфигурация в отсеках может требовать доп. контроллер/кабели (зависит от опций). По платформе: сервер поддерживает 2× AMD EPYC 9004 Series (Socket SP5) до 128C/256T, с заявленной поддержкой до 400W TDP (air-cooled). По памяти - 24 слота DDR5 ECC RDIMM/LRDIMM с максимумом до 6TB на 4800MT/s (1DPC). По накопителям - фронтально 12× 2.5" NVMe + 2× 2.5" SATA, плюс 4× 2.5" NVMe опционально (может требовать доп. контроллер/кабели), и отдельный 1× M.2 NVMe (M-key) под boot. Производительность GPU Тип точности Совокупная мощность восьми H100 SXM FP64 Tensor Core 536 TFLOPS FP8 Tensor Core 31 664 TFLOPS BF16 / FP16 Tensor Core 15 832TFLOPS TF32 Tensor Core 7 912 TFLOPS INT8 Tensor Core 31 664 TOPS Совместимость с LLM-моделями Модель Тип квантизации Требуется VRAM Совместимость Примечание DeepSeek-R1-GGUF 685B Q4_K_M Примерно 404GB ✅ Оптимально запускать в 4-бит с распределением по 8 GPU, оставляя запас VRAM под KV-cache и батчи. Qwen3.5-397B-A17B-FP8 FP8 Примерно 406GB ✅ Уверенно помещается на 8×H100 80GB; хорошо масштабируется по 6–8 GPU для serving, RAG и агентных сценариев. Gpt-oss:120b Нет Примерно 196GB ✅ Удобен для высокой пропускной способности: можно держать на 2–4 GPU с большим запасом под длинный контекст и батчи. ai-sage_GigaChat3-702B-A36B-preview-GGUF Q4_K_M Примерно 472GB ✅ В 4-бит стабильно работает при распределении по 8 GPU; подходит для крупных ассистентов и длинных контекстов. Mistral-Large-3-675B-Instruct-2512-GGUF Q4_K_M Примерно 407GB ✅ Лучше держать в 4-бит и распределять по 8 GPU, чтобы сохранить запас под KV-cache при длинном контексте. GLM-5-GGUF Q4_K_M Примерно 456GB ✅ Комфортный serving при 4–8 GPU: в 4-бит остаётся запас VRAM под батчи и расширенный контекст. Совместимость с диффузионными моделями Модель Тип Совместимость Примечание Stable Diffusion XL 1.0 Текст в изображение ✅ Легко держит высокие разрешения и большие батчи; удобно параллелить генерацию по нескольким GPU. Flux.2-dev Текст в изображение ⚠️ Требует ~178GB VRAM: на 80GB GPU нужен multi-GPU/offload; на 8×H100 это обычно решается настройками пайплайна. SD Turbo Быстрые предпросмотры ✅ Максимальная скорость для итераций; удобно запускать несколько очередей генерации параллельно. Kandinsky-5.0-T2I-Lite-sft-Diffusers Текст в изображение ✅ Требует ~35GB VRAM - остаётся большой запас под высокое разрешение и батчи. Kandinsky-5.0-T2V-Lite-sft-5s-Diffusers Текст