谷歌新技術可用AI模型為無聲視頻配音
健康生活
2024-09-09 21:34:47
0
谷歌DeepMind近日公布了一項利用AI為無聲視頻生成背景音樂的谷歌「video-to-audio」技術。
![](https://dw-media.wenweipo.com/dams/wwpproduct/image/202406/19/667244f7e4b0fd6f3effc7091.jpg)
當前DeepMind 這款AI模型依然存在局限性,術可視頻需要開發者使用提示詞為模型預先「介紹」視頻可能的無聲聲音,暫時不能直接根據視頻畫面添加具體音效。配音
據悉,谷歌該模型首先會將用戶輸入的新技型為視頻進行拆解,此後結合用戶的術可視頻用戶文字提示,利用擴散模型反覆運算,無聲最終以生成與視頻畫面協調的配音背景聲音,例如輸入一條「在黑暗中行走」的谷歌無聲視頻,再添加「電影、新技型為恐怖片、術可視頻音樂、無聲緊張、配音混凝土上的腳步聲」等文字提示,相關模型就能生成恐怖風格的背景音效。
DeepMind同時表示,該「video-to-audio」模型可以為任何視頻生成無限數量的音軌,還能夠通過提示詞內容判斷生成的音頻「正向性」或「反向性」,從而令生成的聲音更貼近某些特定場景。
(來源:第一財經)
責任編輯: 文劼