Русский язык в ИИ-видео: где всё ломается

Почти все видео-модели учились в основном на английском материале. Для картинки это неважно, а вот всё, что связано с языком, на русском ведёт себя заметно хуже: надписи рассыпаются, губы живут отдельно от речи, диктор ставит ударение не туда. Разбираем четыре места, где это вылезает, и что с ними делают.

Надписи в кадре

Самое очевидное. Просьба «сделай вывеску с названием кофейни» на кириллице почти всегда даёт нечитаемый набор знаков: похожие на буквы формы, зеркальные символы, лишние элементы. На латинице результат заметно лучше, но и там текст пляшет между кадрами.

Решение простое и универсальное: текст в кадре не генерируют, а накладывают на монтаже. Название, слоган, ценник, титры — всё это ставится поверх готового видео обычной графикой. Заодно это единственный способ гарантировать, что название компании написано правильно.

Губы и речь

Липсинк обучен в первую очередь на английской артикуляции. Русские шипящие, мягкие согласные и «ы» дают заметное расхождение: губы двигаются правдоподобно, но не то.

Чем крупнее план, тем заметнее ошибка — на среднем плане расхождение почти не читается.
Длинные фразы рассинхронизируются сильнее коротких: ошибка накапливается.
Спокойная речь синхронизируется лучше эмоциональной.

Отсюда приём, который используют во всех приличных роликах: говорящее лицо не держат в кадре целиком всю реплику. Часть текста идёт закадром, часть — на перебивках, крупный план оставляют на короткие фразы.

Озвучка и ударения

Синтез русской речи звучит уже прилично, но спотыкается на трёх вещах: омографы («замок» и «замок»), имена собственные и аббревиатуры. Плюс интонация: в длинном предложении голос к концу «сдувается» и звучит механически.

Лечится не выбором сервиса, а подготовкой текста: длинные фразы режутся на короткие, сложные слова переписываются, ударения проставляются вручную, названия иногда пишутся по звучанию. Это ручная работа, и именно она отличает нормальную озвучку от «робота».

Субтитры и расшифровка

Единственное место, где с русским всё хорошо. Распознавание речи давно работает надёжно: расшифровка получается с небольшим числом ошибок, и правка занимает минуты, а не часы.

Основная работа тут не в распознавании, а в разбивке: субтитр должен помещаться в две строки, меняться в паузах и не разрывать фразу на полуслове. Автоматика этого не понимает, и именно на этом видно, делал ли человек субтитры руками.

Что из этого следует для заказчика

Название бренда, слоган и любые цифры — всегда графикой, никогда генерацией.
Если нужен говорящий человек — сценарий строится так, чтобы крупных планов речи было немного.
Текст озвучки пишется под произнесение вслух, а не под чтение глазами.
Субтитры делаются всегда: большинство смотрит без звука.

Всё это не «ограничения нейросетей», а обычные производственные правила. В съёмочном продакшне их не меньше — просто они другие.

Частые вопросы

Можно ли получить в кадре надпись на русском без ошибок?

Практически — только наложением на монтаже. Генерации кириллицу доверять нельзя даже в коротком слове.

Насколько заметно расхождение губ на русском?

На среднем и общем плане обычно незаметно, на крупном — видно почти всегда. Поэтому крупные планы речи используют дозированно.

Голос звучит роботом. Это лечится?

Да, и чаще всего правкой текста, а не сменой голоса: короткие фразы, расставленные ударения, переписанные сложные слова. Иногда проще записать живой голос и оставить генерации только фон.

Нужен ролик на русском, который звучит нормально

Опишите задачу — посчитаю стоимость и срок в течение 24 часов. Расчёт бесплатный.

Посмотреть услуги Написать в Telegram