JAKARTA, POSKOTA.CO.ID - Google research AI Lab, DeepMind saat ini tengah mengembangkan teknologi AI untuk menghasilkan soundtrack untuk video.
Sejauh ini, banyak perusahaan yang telah mengembangkan model AI penghasil video namun belum ada yang bisa membuat efek suara atau soundtrack yang bisa disinkronkan dengan hasil videonya.
Namun saat ini, DeepMind telah berinovasi untuk bisa menghasilkan soundtrack dengan mengembangkan teknologi V2A (video-to-audio).
Dalam pernyataan resminya, DeepMind menyebut teknologi V2A ini merupakan bagian penting dari teka-teki media yang dihasilkan menggunakan AI.
“Model AI pembuatan video mengalami kemajuan dengan kecepatan yang luar biasa, namun banyak sistem saat ini hanya dapat menghasilkan output yang senyap,” tulis DeepMind dalam situs resminya.
Menurut mereka teknologi V2A ini bisa menjadi pendekatan yang menjanjikan untuk menghidupkan video yang telah dihasilkan.
Teknologi V2A DeepMind mengambil deskripsi soundtrack yang dapat disinkronkan dengan video untuk menciptakan musik, efek suara, dan bahkan dialog yang cocok dengan karakter dan nada video.
Model AI yang mendukung V2A dilatih pada kombinasi suara, transkrip dialog, dan klip video.
“Dengan melatih video, audio, dan anotasi tambahan, teknologi kami belajar mengaitkan peristiwa audio tertentu dengan berbagai adegan visual, sambil merespons informasi yang diberikan dalam anotasi atau transkrip,” menurut DeepMind.
Melansir dari TechCrunch, alat penghasil suara bertenaga AI bukanlah hal baru.
Startup Stability AI baru saja meluncurkannya minggu lalu, dan ElevenLabs meluncurkannya pada bulan Mei 2024. Namun, ini bukanlah model untuk membuat efek suara video.
