Supermicro 747BTQ-R2K04B (4× Tesla V100 16GB, 2× Xeon E5 2697v4, RAM 256GB)

Технические характеристики

Описание

Сервер на базе 4× NVIDIA Tesla V100 (Volta, 16GB HBM2) обеспечивает мощную платформу для инференса и дообучения моделей (LoRA/QLoRA). Общая видеопамять 64 GB HBM2 с пропускной способностью до 900 GB/s позволяет эффективно обрабатывать крупные языковые модели (LLM), диффузионные сети и задачи Data Science. Tesla V100 поддерживает вычисления в FP16 и INT8, что делает его оптимальным решением для ускоренного вывода нейросетей и тонкой настройки существующих моделей. Сервер стабильно работает в средах CUDA 11.x и PyTorch, а также совместим с TensorRT и vLLM. Ограничения: отсутствует поддержка FP8 и современных ускорений Hopper/Ada поколений, поэтому сервер не рекомендуется для полного обучения моделей с нуля или HPC-задач FP64. Производительность GPU Тип точности Совокупная мощность четырех V100 FP64 28 TFLOPS TF32 56 TFLOPS Тензорная производительность (FP16 Tensor + INT8)* 448 TFLOPS * - так обозначалось только в первом поколении видеокарт на архитектуре Volta. Совместимость с LLM-моделями Модель Тип квантизации Требуется VRAM Совместимость Примечание DeepSeek-R1 70B Q4_K_M Примерно 60GB ✅/⚠️ Запуск через vLLM / Ollama; нужен tensor parallel 2–4×; следите за контекстом/батчем Qwen2.5 72B Instruct Q4_K_S Примерно 62GB ✅/⚠️ Multi-GPU; хорош для многоязычных ассистентов и RAG Совместимость с диффузионными моделями Модель Тип Совместимость Примечание Stable Diffusion XL 1.0 Текст в изображение ✅/⚠️ Держится на 16 GB при оптимизациях (xFormers, attention slicing, VAE-tiling); мульти-GPU для высоких разрешений Flux 1.1 Pro Диффузионная ⚠️ Требует CUDA ≥11.8; уменьшайте шаги/размер кадра; лучше на мульти-GPU SD Turbo Видео / серийные кадры ✅ Быстрые предпросмотры и серийная генерация с низкой задержкой Kandinsky-5.0-T2I-Lite-sft-Diffusers Текст в изображение ✅ Лёгкая версия Kandinsky 5.0; требует ~35GB VRAM, на этих конфигурациях есть большой запас по видеопамяти для высокого разрешения и батчей. Kandinsky-5.0-T2V-Lite-sft-5s-Diffusers Текст в видео ✅ Модель T2V (~29GB VRAM) для роликов до ~5 секунд; хорошо масштабируется по нескольким GPU и подходит для продакшн-пайплайнов. Технические характеристики Платформа Supermicro 747BTQ-R2K04B Видеокарта 4x NVIDIA Tesla V100 16GB HBM2 Материнская плата Supermicro X10DRG-Q (Proprietary 15.2" x 13.2", 2х LGA2011-3, 24 DIMM) Процессор 2x Intel Xeon E5 2697v4 (18c/36t, 2.3GHz-3.6GHz, 145W) Кулер 2x COOLSERVER SNK-P0050APS4 (4U, Active, LGA2011/LGA2011-3 Narrow ILM, 165W) Оперативная память 8x 32GB DDR4 ECC REG SK Hynix 2400Mhz 2Rx4 HHD накопитель 1x Seagate SkyHawk AI 12TB 3.5" SATA 6GB/s SSD накопитель 1x Intel S4610 960gb 2.5" 6Gb/s