Автоматические субтитры от нейросетей: почему ИИ так часто коверкает слова и портит видео

От громкого обещания до фантомного текста на таймлайне

Но автоматические субтитры на крупных платформах появились раньше и развивались независимо от релиза Whisper: у TikTok, Instagram и YouTube были собственные встроенные решения. Связывать их запуск с выходом одной модели было бы неверно.

Проблема знакома любому, кто прогонял через распознавание ролик с длинной паузой или фоновой музыкой. Вместо пустого места на таймлайне возникает текст, которого в записи не было. Иногда это привычная фраза из концовок видео, иногда имя или утверждение, способное изменить смысл ролика. В исследовании 2024 года «Careless Whisper», представленном на конференции ACM FAccT, авторы обнаружили галлюцинации примерно в 1,4% транскрипций Whisper. Около 38% выявленных галлюцинаций содержали выдуманные факты, имена, ложные утверждения или сценарии, которых не было в исходной речи.

Проценты здесь описывают результаты конкретного исследования, а не универсальную вероятность ошибки для любого языка, микрофона и приложения. Но сам эффект важен для создателей коротких видео: машинная расшифровка может выглядеть гладко и убедительно даже там, где она перестала следовать аудио.

Авторегрессионный декодер не умеет молчать

Почему нейросеть вообще добавляет субтитр на участке без речи? Ответ не сводится к тому, что модель якобы не умеет распознавать тишину. У Whisper есть оценка вероятности отсутствия речи и механизм фильтрации таких сегментов. Это помогает отбрасывать часть пустых или малозначимых фрагментов, но не превращает распознавание в безошибочный выключатель: результат зависит от аудио, настроек и того, как конкретное приложение использует модель.

Важно и то, что Whisper не просто переводит звуковую волну в текст по одному готовому слову. В его работе участвуют аудиокодирование и авторегрессионное декодирование: модель формирует последовательность токенов, опираясь на аудиоданные и уже выданный текст. Если аудиосигнал слабый, неоднозначный или похож на шум, декодеру приходится выбирать между продолжением текста и отсутствием распознаваемого фрагмента. Фильтры и пороги снижают риск, но не всегда верно разрешают этот выбор.

Отсюда берутся фантомные субтитры. В тихом промежутке может появиться фраза, похожая на распространённую концовку ролика, или повториться уже распознанный фрагмент. Это не означает, что модель «вспоминает» конкретное видео из обучающих данных. Точнее сказать, что она выдаёт вероятное продолжение при недостаточной опоре на сигнал. На практике результат выглядит как додумывание, хотя механизм не равен человеческому намерению или сознательному выбору.

Тишина для распознавания речи не всегда означает пустое поле: модель оценивает сигнал, а фильтр может ошибиться вместе с ней.

Фоновая музыка усложняет задачу. Инструментальный звук может быть принят за речь, а вокал в песне иногда распознаётся как слова. Если несколько голосов звучат одновременно, модель может собрать из них последовательность, которую никто в кадре целиком не произносил. В каждом случае проблема начинается с неоднозначного сигнала, но проявляется по-разному: от пропуска слова до целой фантомной реплики.

«Careless Whisper»: откуда берутся выдуманные факты

Работа «Careless Whisper» привлекла внимание к тому, что ошибка распознавания не всегда похожа на опечатку. Исследователи описали случаи, когда Whisper добавлял содержательные фрагменты, которых не было в аудио. Такие вставки опаснее обычного искажения окончания: на экране появляется связное утверждение, и зритель может принять его за слова автора ролика.

Для короткого видео это особенно чувствительно. Субтитры часто смотрят без звука, а текст на экране воспринимается как часть самого сообщения. Если модель приписала спикеру имя, обвинение или факт, зритель не всегда станет сверять их с аудио. Ошибка переходит из технической в редакционную: автор публикует ролик, где его собственное высказывание подменено машинным.

Нельзя переносить выводы об одной модели на все системы распознавания речи. У сервисов могут отличаться модели, настройки, фильтры и способы обработки аудио. Но общий риск понятен: когда системе приходится восстанавливать речь по неполному или неоднозначному сигналу, она может выдать правдоподобную последовательность слов, не соответствующую записи. Чем глаже текст, тем важнее не путать его уверенный вид с доказательством точности.

Именно поэтому обычная проверка «на глаз» иногда не работает. Субтитр может быть грамматически безупречным, а фраза звучать естественно. Если в ней подменено имя или добавлено утверждение, гладкость лишь делает ошибку менее заметной. Сверять нужно не только орфографию, но и сам звук в соответствующем месте.

Скользящее окно: как ошибка расползается по таймлайну

Whisper обрабатывает длинную запись последовательными аудиофрагментами; в базовом режиме используются окна до 30 секунд. При транскрибации текст из предыдущего фрагмента может передаваться дальше как контекст. Это помогает сохранить связность на границе отрезков, но при неудачном распознавании способно повлиять и на продолжение.

Представим длинную паузу, после которой модель ошибочно повторила слово или построила фразу. Если результат предыдущего окна используется в следующем, этот текст может подтолкнуть декодирование к продолжению той же темы. Не всякая ошибка обязательно размножится, а конкретное поведение зависит от реализации и параметров. Но механизм объясняет, почему локальный сбой иногда не заканчивается ровно там, где начался.

На таймлайне это выглядит странно: в одном месте появляются повторяющиеся слова, затем они тянутся дальше или мешают правильно распознать новую реплику. Сначала возникает соблазн просто удалить лишний фрагмент. Но если продолжение тоже повреждено, правка одного субтитра не восстановит смысл следующих. Придётся прослушать участок целиком и заново сверить текст с речью.

Граница окна не всегда заметна зрителю, но её полезно учитывать при проверке длинного ролика. Если ошибка появилась рядом с длинной паузой или переходом между фрагментами, стоит прослушать и соседний участок, а не только строку, которая выглядит подозрительно. Так легче поймать повтор или потерянное слово, связанное с предыдущим контекстом.

Акценты и темп: почему знакомая речь внезапно становится чужой

Галлюцинации на тишине заметны, потому что текст возникает будто из ничего. Гораздо чаще в обычных роликах встречаются более будничные сбои: неверное окончание, подмена короткого слова, испорченное имя, пропущенная частица. Иногда одна такая подмена меняет весь смысл реплики.

Модели распознавания обучаются на аудиозаписях с разными голосами и условиями, но это не значит, что каждый акцент, темп или способ произношения будет представлен одинаково хорошо. Речь с непривычным для модели ритмом, редкой лексикой или заметными паузами может распознаваться хуже. Это не характеристика говорящего и не доказательство того, что он говорит неправильно. Это ограничение того, насколько хорошо система сопоставляет конкретный сигнал с выученными закономерностями.

В коротких видео сложные случаи встречаются постоянно: автор перескакивает с одной мысли на другую, проглатывает окончания, произносит название бренда, использует сленг или смешивает языки. В кадре собеседник может перебить говорящего, а музыка одновременно закрывает часть слов. Человек, который смотрит видео со звуком, часто восстанавливает смысл по контексту. Автоматическая система тоже использует контекст, но может выбрать не то слово, особенно если акустический сигнал допускает несколько вариантов.

Типичные места, где стоит особенно внимательно сверять текст:

1. Длинная пауза или резкое падение громкости. Фильтр может пропустить неуместный фрагмент, а декодер при слабой опоре на сигнал способен выдать текст, которого в записи нет.

2. Музыка с вокалом. Вокальная партия может быть принята за речь или смешаться с голосом человека в кадре.

3. Перебивание и несколько говорящих. Система может распознать части обеих реплик, но неправильно собрать их в одну последовательность.

4. Имена, сленг и профессиональные термины. Незнакомое слово легко превращается в более распространённое, похожее по звучанию.

5. Смена языка или произношения. Даже если общий смысл угадывается, отдельные слова и границы фраз могут быть расставлены неверно.

6. Быстрая, сбивчивая или очень тихая речь. В таких местах модель может потерять короткие слова, окончания и частицы, которые важны для смысла.

Для редактора это не список поводов отказаться от автоматизации, а карта проверки. Обычная фраза в чистой записи с большей вероятностью пройдёт незамеченной и не потребует долгой вычитки. Имя, отрицание, число или спорное утверждение требуют сверки с аудио даже тогда, когда субтитры выглядят убедительно.

Иллюзия точности: почему студийный WER не равен качеству ролика

Для оценки распознавания речи используют Word Error Rate, или WER. Эта метрика сравнивает транскрипцию с эталонным текстом на уровне слов и учитывает замены, удаления и вставки. Чем больше таких расхождений относительно длины эталонной записи, тем выше WER. Метрика полезна для сравнения систем на одном и том же наборе данных, но не описывает все виды ущерба от ошибки.

Например, замена одного слова может почти не повлиять на смысл бытовой реплики. А короткая вставка в тихом месте способна приписать автору утверждение, которого он не произносил. WER учитывает и вставленные слова: фраза из нескольких слов даёт несколько ошибок на уровне слов, а не одну ошибку независимо от длины. При этом общий процент может не показать, насколько серьёзным оказалось конкретное искажение для зрителя.

В качестве ориентира часто приводят результаты на чистой английской речи, например на тестовой части LibriSpeech test-clean. Но показатель, полученный на аккуратно записанном материале, нельзя напрямую переносить на русскоязычный ролик с музыкой, шумом кафе, перебиваниями и быстрым монтажом. Это другие условия записи и другой речевой материал. Даже хороший результат на одном тесте не гарантирует, что конкретный сервис правильно распознает имя или короткое отрицание в конкретном видео.

Поэтому фраза «система точна на 97%» без контекста почти ничего не говорит о качестве субтитров для соцсетей. Нужно знать, на каком языке и наборе данных считали метрику, как выглядел звук и что именно считали ошибкой. Открытого единого показателя, который описывал бы все реальные условия коротких роликов, нет. А результаты разных сервисов нельзя сопоставить честно, если они получены на разных аудио и по разным правилам.

Что скрыто за кнопкой автоматических субтитров

Встроенные редакторы платформ удобны, но их внутренние пайплайны не полностью прозрачны. Пользователь обычно не знает, какая именно модель распознаёт речь, какие настройки применяются и как обрабатываются паузы, шум и несколько голосов. Платформа может использовать собственную систему или сочетать распознавание с дополнительной обработкой. Поэтому свойства Whisper нельзя автоматически приписывать TikTok, Reels или YouTube Studio.

Это не мешает проверять результат на собственных роликах. Более того, так проще понять характерные сбои конкретного процесса: где пропадает звук, какие имена модель коверкает, как она ведёт себя с музыкой. Проверка особенно важна после обновления приложения или смены способа загрузки: интерфейс может измениться, а вместе с ним и результат. Публичная метрика одной модели не заменит такого сравнения.

Порядок проверки можно встроить прямо в монтаж, без отдельного технического ритуала. Сначала прослушать начало и конец ролика, затем пройти места с паузами, музыкой и наложением голосов. После этого отдельно сверить имена, числа, названия и слова, от которых зависит смысл фразы. Если субтитры готовятся для видео с важным утверждением, лучше просмотреть весь текст вместе со звуком.

Автоматическая транскрибация экономит время на черновике, но не снимает с автора ответственность за опубликованные слова.

Черновик, а не финальный монтаж

Ошибки автоматического создания субтитров нейросетью не сводятся к одной причине. На результат влияют качество сигнала, паузы, музыка, особенности произношения, настройки фильтрации и контекст, передаваемый между фрагментами. Поэтому универсальной кнопки, которая убирает артефакты в титрах, нет. Шумоподавление может помочь распознаванию, но не исправит неверно услышанное имя и не гарантирует, что система оставит тишину пустой.

Практическая ценность инструмента в другом: он быстро превращает запись в редактируемую основу. Дальше автор проверяет то, что важно именно для этого ролика. В коротком развлекательном видео это может быть имя героя или шутка, в новостном фрагменте особенно важны числа, отрицания и утверждения, приписанные спикеру. Нейросеть для субтитров рилс ускоряет черновую работу, но проверка по аудио остаётся частью публикации.

Автоматическая генерация текста на видео с помощью ИИ удобна, пока её результат воспринимают как версию для редактирования. Стоит принять машинный текст за точную расшифровку, и на экране может появиться уже не речь автора, а удачная догадка модели. Исправлять такие ошибки проще до публикации, когда ролик ещё открыт в монтажной дорожке, а не после того, как фантомная фраза разошлась вместе с видео.