Supermicro AS-2024US-TRT (3x NVIDIA A100 40GB, 2x AMD EPYC 7713, 1 ТБ RAM)

Технические характеристики

Описание

Supermicro AS-2024US-TRT (3x NVIDIA A100 40GB, 2x AMD EPYC 7713, 1 ТБ RAM) Платформа: Supermicro AS-2024US-TRT, 2U, 12x LFF Видеокарты: 3x NVIDIA A100 OEM 40 ГБ HBM2e, архитектура Ampere Суммарный объём видеопамяти: 120 ГБ HBM2e Межгпу-соединение: NVLink 3-го поколения, NCCL Тензорные ядра: 3-го поколения, FP16 / BF16 / INT8 Производительность FP64 Tensor Core: 58.5 TFLOPS (совокупно 3x GPU) Производительность FP32 Tensor Core: 936 TFLOPS (совокупно 3x GPU) Производительность BF16/FP16 Tensor Core: 1872 TFLOPS (совокупно 3x GPU) Производительность INT8 Tensor Core: 3744 TOPS (совокупно 3x GPU) Процессор: 2x AMD EPYC 7713, 64 ядра / 128 потоков, 2.0 ГГц — 3.675 ГГц, TDP 240 Вт Сокет CPU: SP3 Оперативная память: 16x 64 ГБ DDR4 ECC REG Samsung 3200 МГц 2Rx4, суммарно 1 ТБ Тип памяти: RDIMM DDR4-3200 ECC Накопители: 4x Intel D5-P5530 1.92 ТБ 2.5" U.2 NVMe Суммарный объём хранилища: 7.68 ТБ NVMe Форм-фактор: 2U Rack Дисковые отсеки: 12x LFF Программный стек: CUDA 12.x, PyTorch 2.x, vLLM, Ollama, TensorRT-LLM Поддерживаемые форматы точности: FP64, FP32, BF16, FP16, INT8 Графические выходы: отсутствуют Назначение: инференс, дообучение (Fine-tuning), обучение моделей (Training), RAG, LLM-деплой P/N основной: AS-2024US-TRT Совместимость LLM-моделей: DeepSeek-R1-Distill-Llama-70B-GGUF (Q8_K_XL, ~81 ГБ) / Qwen3.5-122B-A10B-GGUF (MXFP4_MOE, ~68.3 ГБ) / gpt-oss-120b-GGUF (F16, ~65 ГБ) Совместимость диффузионных моделей: Stable Diffusion 3 Medium / FLUX.1-schnell-onnx / Stable Video Diffusion 1.1 / Kandinsky-5.0-T2I-Lite-sft-Diffusers / Kandinsky-5.0-T2V-Lite-sft-5s-Diffusers Совместимость: Supermicro AS-2024US-TRT / NVIDIA A100 40GB SXM4 / NVIDIA A100 40GB PCIe / AMD EPYC 7713 / AMD EPYC 7003 Series / Intel D5-P5530 1.92TB U.2