Volcengine Video Lip Sync AI-синхронізація губ у відео

Використовуйте її, коли вихідне відео вже є потрібним візуальним результатом, а лише мовленнєве виконання має наслідувати іншу голосову доріжку. Це процес синхронізації губ із відео та аудіо, а не генератор відео за промптом чи модель анімації портрета.

Завантажте рівно одне відео MP4 або MOV розміром до 95 МБ і один аудіофайл MP3, M4A, WAV, AAC або OGG розміром до 10 МБ. Відео має відповідати підтримуваній геометрії від 360p до 1080p, частоті від 24 до 60 кадрів за секунду й бітрейту від 1 до 30 Мбіт/с, а обидва файли повинні мати додатну перевірену тривалість.

Вибирайте Lite для однієї людини, яка дивиться в камеру, коли корисні швидша обробка й керування вирівнюванням аудіо з відео. Вибирайте Basic для складнішої сцени з однією людиною, особливо коли потрібні сегментація сцен і визначення мовця.

У режимі Lite вирівнювання аудіо може зациклити відео, якщо цільове аудіо довше. Зворотне зациклення доступне лише за ввімкненого вирівнювання, а початкове значення шаблону визначає місце початку вихідної послідовності. Режим Basic ці параметри не використовує.

Rivya застосовує ставку 8 кредитів за секунду перевіреного аудіо, а тривалість виходу відповідає цьому аудіо. Дробова тривалість входить до повного розрахунку, а до цілого кредита округлюється угору лише підсумок резерву. Коли повідомлене фактичне використання є коректним і не перевищує зарезервовану суму, Rivya проводить остаточний розрахунок за ним. Відсутні, некоректні або вищі за резерв дані залишаються на звірці й не спричиняють прихованого додаткового списання.

Поєднайте одне наявне відео з однією людиною та одну цільову голосову доріжку, щоб видиме мовлення відповідало новому аудіо, а вихідний матеріал залишався візуальною основою.

Використовуйте підтримуваний файл MP4 або MOV із чітко видимим мовцем і підготуйте чисту голосову доріжку. Перевірте, що розмір відео не перевищує 95 МБ, а його роздільна здатність, частота кадрів і бітрейт відповідають зазначеним межам.

Почніть із Lite для простого фронтального матеріалу. Використовуйте Basic, якщо сцена складніша або корисні сегментація сцен і визначення мовця.

Відомості доступні публічно, але для завантаження й генерації потрібно ввійти. Ціна становить 8 кредитів за секунду перевіреного аудіо, результат наслідує тривалість аудіо, а угору округлюється лише фінальний розрахований підсумок.

Залишайтеся тут для одного тесту з вихідним відео й голосовою доріжкою. Відкрийте Studio для збережених озвучень, повторних мов чи дублів, порівняння або довшого процесу локалізації.