Для гиков. Новый Speech To Text. Взяли Whisper от OpenAI (который кстати опенсорсный, кто не знал). И разогнали его как следует

Для гиков. Новый Speech To Text. Взяли Whisper от OpenAI (который кстати опенсорсный, кто не знал). И разогнали его как следует. Синхронный перевод все ближе. Whisper-Medusa превосходит Whisper от OpenAI, работая на 50 % быстрее без потери производительности. Увеличение скорости при сохранении высокого уровня точности стало возможным благодаря тому, что наша модель может предсказывать токены. Токен - это единица данных, которую обрабатывает алгоритм. Модель Whisper от OpenAI предсказывает один токен за раз, в то время как Whisper-Medusa от aiOla предсказывает десять за раз, тем самым ускоряя скорость предсказания речи на 50% и увеличивая время работы, особенно для длинных аудиозаписей. aiOla в настоящее время предлагает Whisper-Medusa как 10-головую модель, а в будущем планирует выпустить 20-головую версию с эквивалентной точностью. Код и все дела есть в доступе.