Volcengine Video Lip Sync для существующих видео с говорящим

Используйте модель, когда исходное видео уже даёт нужный визуальный результат, а речевое исполнение должно следовать другой голосовой дорожке. Это процесс синхронизации губ по видео и аудио, а не генератор видео по промпту и не модель анимации портрета.

Загрузите ровно одно видео MP4 или MOV размером до 95 MB и один аудиофайл MP3, M4A, WAV, AAC или OGG размером до 10 MB. Видео должно находиться в поддерживаемом диапазоне геометрии от 360p до 1080p, частоты от 24 до 60 fps и битрейта от 1 до 30 Mbps, а оба файла должны иметь положительную проверенную длительность.

Выберите Lite для одного человека, смотрящего в камеру, когда полезны более быстрая обработка и настройки выравнивания аудио с видео. Выберите Basic для более сложной сцены с одним человеком, особенно если нужны сегментация сцен и определение говорящего.

В режиме Lite выравнивание аудио может зациклить видео, если целевое аудио длиннее. Обратное зацикливание доступно только при включённом выравнивании, а значение начала шаблона определяет, где начинается исходная последовательность. В режиме Basic эти настройки не используются.

Rivya использует ставку 8 кредитов за проверенную секунду аудио, а длительность результата следует этому аудио. Дробная длительность сохраняется в полном расчёте, и вверх до целого кредита округляется только общий резерв. Если получены корректные данные о фактическом использовании, не превышающие резерв, Rivya рассчитывает списание по ним. Отсутствующие, некорректные или превышающие резерв данные передаются на сверку и не приводят к скрытому дополнительному списанию.

Объедините одно существующее видео с одним человеком и одну целевую голосовую дорожку, чтобы видимая речь следовала новому аудио, а исходный материал оставался визуальной основой.

Используйте поддерживаемый файл MP4 или MOV с хорошо видимым говорящим, затем подготовьте чистую голосовую дорожку. Убедитесь, что видео не превышает 95 MB, а его разрешение, частота кадров и битрейт входят в указанные пределы.

Начните с Lite для простого материала с человеком анфас. Используйте Basic, если сцена сложнее или полезны сегментация сцен и определение говорящего.

Описание общедоступно, но для загрузки и создания нужен вход. Цена составляет 8 кредитов за проверенную секунду аудио, результат следует длительности аудио, а вверх округляется только итоговая рассчитанная сумма.

Оставайтесь здесь для проверки одного исходного видео и одной голосовой дорожки. Откройте Studio для сохранённых озвучек, повторных языков или дублей, сравнительной работы или более длительного процесса локализации.