LoRA за полтора часа: как дообучить ASR для языка, который Whisper почти не знает

Продолжение серии материалов о речевых технологиях для крымскотатарского языка: автор детально разбирает задачу распознавания речи (ASR) для языка, который Whisper почти не поддерживает. Эксперимент строится на едином отложенном тесте и единой методике скоринга — 893 клипа, около 1,86 часа аудио, два диктора.

Ключевой технический вывод — применение LoRA позволило дообучить модель примерно за полтора часа, то есть адаптация к низкоресурсному языку оказалась вполне доступной по вычислительным затратам. При этом, по наблюдению автора, значительную часть результата обеспечил декодер, а не только акустическая часть.

Материал будет полезен инженерам, работающим с ASR для миноритарных языков и оценивающим бюджет дообучения больших моделей. Полные таблицы результатов и детали методики — в статье на сайте источника.