CUDA Core
Базовые вычислительные ядра GPU NVIDIA для операций FP32 и INT32.
Что такое CUDA Core
CUDA Core — базовый вычислительный элемент GPU NVIDIA, выполняющий одну скалярную операцию FP32 или INT32 за такт. Не следует путать с Tensor Cores — специализированными блоками для матричных операций.
В ML-контексте CUDA Cores обрабатывают операции, не попадающие на Tensor Cores: активационные функции, элементарные арифметические операции, логику управления потоком.
CUDA Cores vs Tensor Cores
| CUDA Cores | Tensor Cores | |
|---|---|---|
| Операция | Скалярная FP32/INT32 | Матричная BF16/FP8 |
| Применение в ML | Активации, вспомогательные операции | Матричные умножения (90%+ времени) |
| Число в H100 | 16896 | 528 |
| TFLOPS FP32 | ~60 | — |
| TFLOPS BF16 | — | ~1979 |
Для задач ML Tensor Cores обеспечивают большую часть полезной работы. Высокое число CUDA Cores помогает в компьютерной графике, симуляциях и задачах с нерегулярным параллелизмом.
Практический вывод
При выборе GPU для ML не стоит ориентироваться на число CUDA Cores — важнее BF16/FP8 TFLOPS (через Tensor Cores), объём и пропускная способность VRAM.
Связанные термины
- Tensor Core — более важные ядра для ML
- SM — Streaming Multiprocessor, содержащий CUDA и Tensor Cores
- CUDA — программная платформа для обоих типов ядер
- FLOPS — суммарная производительность ядер
Готовы запустить GPU-задачу?
Запустить GPU-сервер