8× NVIDIA B200 vs 8× B300: сравнение систем в MLPerf® Inference v6.0
На этой странице сравниваются не отдельные платы, а две полные восьми-GPU конфигурации: система NVIDIA DGX B200 с ускорителями B200 SXM 180 GB и система NVIDIA DGX B300 с ускорителями B300 SXM 270 GB. В выборку входят только официально рассмотренные результаты MLPerf® Inference v6.0 для одного и того же профиля Llama 3.1 8B, точности FP4, TensorRT 10.14 и одинакового числа ускорителей. Доступны две сопоставленные пары — Offline для максимальной пакетной пропускной способности и Server для обслуживания потока запросов с ограничениями задержки. Такой набор позволяет сравнить опубликованные полносистемные показатели в рамках одного стандарта, но не превращает результаты в контролируемый тест самих GPU.
В обеих сопоставленных парах опубликованная система с B300 показывает более высокую пропускную способность. Наблюдаемую разницу нельзя полностью приписывать архитектуре ускорителя: заявку B200 подала Lambda_SIT, заявку B300 — NVIDIA, а версии драйвера и параметры настройки нагрузки различаются. Поэтому страница формулирует вывод как сравнение официальных системных результатов, а не как доказательство того, насколько одна отдельная GPU быстрее другой. Отношения и абсолютные разницы рассчитываются CloudCompute из исходных показателей и не являются официальными метриками MLCommons.
- Offline и Server анализируются отдельно; значения из разных сценариев не объединяются в общий рейтинг.
- Все показатели сохраняются на уровне полной системы с восемью GPU и не делятся на число ускорителей.
- Основной сигнал — официальная полносистемная пропускная способность; задержки Server приводятся без объявления победителя.
- Вывод ограничен Llama 3.1 8B FP4 и не переносится автоматически на крупные модели, другие точности или движки.
Ключевые метрики
Offline
Выходных токенов/с (полная система)
160403 vs 165432tokens/s
scope: system
Server
Выходных токенов/с (полная система)
130007.69 vs 141565.45tokens/s
scope: system
Все throughput-значения — полная система (не на одну GPU).
Сравнение по сценариям
Offline и Server показаны отдельно. Значения — полная система с несколькими GPU.
| Сценарий | NVIDIA B200 SXM 180GB | NVIDIA B300 SXM 270GB | Δ tokens/s | Δ % |
|---|---|---|---|---|
| Offline · tokens/s | 160403 | 165432 | 5029.00 | 3.14% |
| Offline · samples/s | 1243.49 | 1282.63 | — | — |
| Server · tokens/s | 130007.69 | 141565.45 | 11557.76 | 8.89% |
| Server · samples/s | 1007.85 | 1097.56 | — | — |
Расчёт CloudCompute; не официальный показатель MLPerf®
Пропускная способность по сценариям
Offline
| System | tokens/s |
|---|---|
| NVIDIA B200 SXM 180GB | 160403 |
| NVIDIA B300 SXM 270GB | 165432 |
Server
| System | tokens/s |
|---|---|
| NVIDIA B200 SXM 180GB | 130007.69 |
| NVIDIA B300 SXM 270GB | 141565.45 |
Расчёт CloudCompute; не официальный показатель MLPerf®
Результаты
| Результат | Сценарий | Precision | GPU | Выходных токенов/с | Сэмплов/с | TTFT p50 | TTFT p95 | TPOT p50 | TPOT p95 |
|---|---|---|---|---|---|---|---|---|---|
6.0-0073 NVIDIA | Offline | fp4 | 8× | 165432 system | 1282.63 system | — per_request | — per_request | — per_request | — per_request |
6.0-0062 Lambda_SIT | Offline | fp4 | 8× | 160403 system | 1243.49 system | — per_request | — per_request | — per_request | — per_request |
6.0-0073 NVIDIA | Server | fp4 | 8× | 141565.45 system | 1097.56 system | 260.98 per_request | 989.25 per_request | 21.65 per_request | 31.35 per_request |
6.0-0062 Lambda_SIT | Server | fp4 | 8× | 130007.69 system | 1007.85 system | 179.27 per_request | 701.39 per_request | 17.17 per_request | 20.56 per_request |
Методология
В сравнение попадают только записи с одинаковыми версией MLPerf® Inference, разделом Closed, сценарием, профилем модели, ревизией модели, движком и его версией, точностью весов, набором данных, SLO и количеством ускорителей. Offline и Server образуют две отдельные пары. Таблица показывает исходные официальные метрики полной системы. Процентные отношения и абсолютные разницы являются вторичными вычислениями CloudCompute, явно маркируются как производные и не выдаются за официальный результат MLPerf®. Показатели TTFT и TPOT не используются для ранжирования, поскольку Server-заявки работали при независимо настроенной достигнутой нагрузке.
Оговорки
- Название ориентировано на поиск по GPU, однако измеряемый объект — полная система, включая CPU, память, прошивки, драйвер и программный стек.
- B200 и B300 представлены разными отправителями; это стандартизированное межзаявочное сравнение, а не контролируемый A/B-тест CloudCompute.
- Различия в версии драйвера и настройках нагрузки сохраняются в таблице конфигураций и могут влиять на наблюдаемую разницу.
- Паспортный TDP не используется для расчёта tokens/W; энергосравнение возможно только при наличии соответствующих официальных измерений MLPerf® Power.
- Страница не делает выводов о цене, доступности или экономике CloudCompute, пока каталог и тарифы не подключены как утверждённый источник.
Источники и обязательная атрибуция
- MLPerf® Inference v6.0, Closed Division, Llama 3.1 8B, Offline and Server; submitted by Lambda_SIT; NVIDIA DGX B200 system with 8× NVIDIA B200 SXM 180 GB accelerators; result entry 6.0-0062. Retrieved from MLCommons on 12 July 2026. Result verified by MLCommons Association. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.
- MLPerf® Inference v6.0, Closed Division, Llama 3.1 8B, Offline and Server; submitted by NVIDIA; NVIDIA DGX B300 system with 8× NVIDIA B300 SXM 270 GB accelerators; result entry 6.0-0073. Retrieved from MLCommons on 12 July 2026. Result verified by MLCommons Association. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.
Процентные отношения и абсолютные разницы рассчитаны CloudCompute и не являются официальными результатами MLCommons.
The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.
FAQ
Это прямой тест одной NVIDIA B200 против одной B300?
Нет. Опубликованные значения относятся к полным системам с восемью ускорителями. Делить результат на восемь или приписывать всю разницу одной GPU нельзя.
Какие результаты считаются сопоставимыми на этой странице?
Только пары с одинаковыми MLPerf® Inference v6.0, сценарием, профилем Llama 3.1 8B, FP4, TensorRT 10.14, набором данных, SLO и количеством GPU.
Почему Offline и Server показаны отдельно?
Offline измеряет пакетную пропускную способность, а Server — обслуживание потока запросов при ограничениях задержки. Это разные режимы нагрузки и их нельзя смешивать в одну шкалу.
Можно ли сравнивать TTFT и TPOT как обычный тест задержки?
Только с оговорками. Достигнутая нагрузка и параметры её настройки различаются, поэтому задержки не используются для объявления победителя.
Являются ли проценты разницы официальными метриками MLPerf®?
Нет. Официальными остаются исходные показатели в результатах MLCommons. Проценты и отношения рассчитываются CloudCompute и маркируются как производные.
Аренда GPU в CloudCompute
Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.