GPU Hardware
AMD MI300X
Datacenter-GPU AMD с 192 ГБ HBM3, конкурирующий с H100 в задачах LLM-инференса.
Что такое AMD MI300X
MI300X — серверный GPU AMD на архитектуре CDNA3 (2024), позиционированный как прямой конкурент NVIDIA H100/H200 в задачах AI-инференса. Главное отличие — 192 ГБ HBM3 (наибольший объём среди GPU на момент выхода) с пропускной способностью 5300 ГБ/с.
Поддерживает ROCm — программный стек AMD, совместимый с большинством PyTorch/CUDA-приложений через транслятор hipify.
Технические характеристики
| Параметр | MI300X | H100 SXM | H200 SXM |
|---|---|---|---|
| VRAM | 192 ГБ HBM3 | 80 ГБ HBM3 | 141 ГБ HBM3e |
| Пропускная способность памяти | 5300 ГБ/с | 3350 ГБ/с | 4800 ГБ/с |
| FP16 TFLOPS | 1307 | 1979 | 1979 |
| FP8 TFLOPS | 2614 | 3958 | 3958 |
| TDP | 750 Вт | 700 Вт | 700 Вт |
Где MI300X лучше H100
- Инференс больших моделей (70B+ в BF16) — 192 ГБ позволяет разместить модель на одном GPU, где H100 нужно два
- Memory-bound операции (decode) — высокая пропускная способность HBM3 даёт преимущество
- Цена — в ряде конфигураций дешевле H100 при той же задаче
Где H100 лучше MI300X
- FP8-производительность — H100 быстрее (3958 vs 2614 TFLOPS FP8)
- Зрелость экосистемы — ROCm менее зрелый, чем CUDA; не всё ПО поддерживает ROCm
- Обучение трансформеров — NVIDIA Transformer Engine оптимизирован специально для Hopper
Программная поддержка
vLLM, TGI, llama.cpp поддерживают ROCm. PyTorch поддерживает ROCm нативно. Однако часть CUDA-расширений требует портирования.
Связанные термины
- NVIDIA H100 — основной конкурент
- NVIDIA H200 — с похожим объёмом памяти
- HBM — тип памяти MI300X
- CUDA — NVIDIA-альтернатива ROCm
Готовы запустить GPU-задачу?
Запустить GPU-сервер