Как нейросеть переводит видео

«Переведите видео» — просьба, за которой скрываются три разные работы разной стоимости. Можно обойтись субтитрами, можно наложить голос поверх оригинала, а можно сделать полный дубляж, где губы попадают в слова. Разбираем, чем они отличаются и что выбрать.

Три уровня перевода

Субтитры. Самый дешёвый и быстрый путь. Речь распознаётся, текст переводится и раскладывается по таймингам. Оригинальный звук остаётся.
Закадровый голос. Поверх приглушённого оригинала звучит перевод. Так делают документальные фильмы и интервью — зритель слышит, что говорит человек, но понимает смысл.
Полный дубляж. Оригинальная речь убирается, вместо неё синтезированный голос, а артикуляция подгоняется под новые слова. Самый дорогой и самый убедительный вариант.

Стоимость растёт с каждым уровнем примерно кратно, поэтому первый вопрос всегда один: кто и где будет это смотреть. Для обучающего ролика внутри компании субтитров хватает. Для рекламы на новом рынке — нет.

Где перевод ломается

Длина фразы. Русская фраза почти всегда длиннее английской. При дубляже её приходится сокращать, иначе голос не помещается в паузу — и это работа редактора, а не машины.
Термины и имена. Названия продуктов, фамилии, профессиональный жаргон распознаются и переводятся хуже всего. Их проверяют вручную.
Несколько говорящих. Если люди перебивают друг друга, разметка «кто когда говорит» рассыпается.
Интонация. Синтезированный голос ровный. Ирония, злость, усталость передаются плохо — там, где это важно, зовут живого диктора.
Шум и музыка. Если речь записана на улице или поверх громкой музыки, распознавание даёт ошибки, а отделить голос от фона получается не всегда чисто.

Про синхрон губ

Подгонка артикуляции под новую речь работает тем лучше, чем крупнее план и спокойнее человек в кадре. Говорящая голова в интервью — почти идеальный случай. Динамичная сцена, где герой поворачивается и жестикулирует, — сложный.

Практический приём: если дубляж нужен, а материал сложный, часть реплик оставляют закадровым голосом, а синхрон делают только там, где лицо крупно в кадре. Зритель разницы не замечает, а работа становится в разы дешевле.

Что проверить перед публикацией

Цифры и даты — распознавание часто ошибается именно в них.
Названия компаний и продуктов.
Места, где перевод стал длиннее оригинала и голос наезжает на следующую фразу.
Ударения в именах собственных: синтез ставит их наугад.
Совпадение субтитров с тем, что реально звучит, если вы делаете и то и другое.

Частые вопросы

Можно ли перевести видео и сохранить оригинальный голос человека?

Технически такие решения существуют, но качество сильно зависит от исходной записи. На практике чаще берут нейтральный синтезированный голос, подобранный по тембру.

Сколько времени занимает перевод ролика на пять минут?

Субтитры — быстро, обычно в тот же день. Полный дубляж с проверкой терминов и синхроном — заметно дольше: основное время уходит на редактуру, а не на саму генерацию.

Нужен ли исходный файл или хватит ссылки на видео?

Лучше исходник: у скачанной копии хуже звук, а от качества звука напрямую зависит точность распознавания.

Нужно перевести или озвучить видео?

Опишите материал и язык — скажу, какой уровень перевода нужен и сколько это стоит.

Посмотреть услуги Написать в Telegram