谷歌DeepMind近日公布了一項利用AI為無聲視頻生成背景音樂的谷歌「video-to-audio」技術。

當前DeepMind 這款AI模型依然存在局限性，術可視頻需要開發者使用提示詞為模型預先「介紹」視頻可能的無聲聲音，暫時不能直接根據視頻畫面添加具體音效。配音

據悉，谷歌該模型首先會將用戶輸入的新技型為視頻進行拆解，此後結合用戶的術可視頻用戶文字提示，利用擴散模型反覆運算，無聲最終以生成與視頻畫面協調的配音背景聲音，例如輸入一條「在黑暗中行走」的谷歌無聲視頻，再添加「電影、新技型為恐怖片、術可視頻音樂、無聲緊張、配音混凝土上的腳步聲」等文字提示，相關模型就能生成恐怖風格的背景音效。

DeepMind同時表示，該「video-to-audio」模型可以為任何視頻生成無限數量的音軌，還能夠通過提示詞內容判斷生成的音頻「正向性」或「反向性」，從而令生成的聲音更貼近某些特定場景。

（來源：第一財經）