Whisper

Что делает модель

Whisper преобразует речь в текст. Размеры checkpoint отличаются затратами вычислений и качеством распознавания. Транскрибация сохраняет язык речи; перевод на английский — отдельная задача, для которой turbo не обучена.

Модель может правдоподобно ошибаться и генерировать текст на неречевых участках. Расшифровка не доказывает, что именно было сказано. Качество зависит от языка, записи и задачи; универсального процента ошибок и гарантированной скорости для конкретной GPU нет.

От термина к рабочему файлу

Начните с кластера Whisper и первого запуска. Готовый пример использует faster-whisper с отдельными каталогами исходников, результатов и кеша моделей. Он пишет текст и субтитры по сегментам без публичного API.

Сравните модели и оборудование, затем измерьте скорость и качество на своих записях. Оценки памяти оригинальной реализации Whisper не являются фиксированными требованиями для любого runtime и batch.

Связанные понятия

ASR — задача распознавания, faster-whisper — одна из реализаций. Таймкоды слов и диаризация решают разные вопросы времени и спикеров. Ни то ни другое не делает текст автоматически достоверным.

Источник: репозиторий и документация Whisper.