Google發表了全新生成式 AI 模型「Lumiere」,發表發主攻運算難度更高的生所開影片領域,除了可以用文字敘述來產生影片外,成式也可將圖片轉換成影片,專為甚至還能夠變換影片中的影片物件、視覺風格,內容又或是發表發將缺失的部分進行填補。
Lumiere 使用 STUNet (Space-Time U-Net architecture)技術,生所開與一般影片 AI 是成式逐格生成的方式不同,STUNet 是專為在分析多張畫麵之間的關聯性後,再進行內容產生,影片可以有效提升物件內容之間的內容關聯性,減少畫麵扭曲、發表發抖動、生所開變形的成式狀況。
Lumiere 能夠支援多種影片生成的方式,既可以使用文字敘述,也能將靜態圖片轉為動態,也能將影片轉換成不同的視覺風格,如果不知道該如何形容所希望的風格,也能附上參考圖片,讓 AI 去仿造出有著相似元素的影片。
另外,Lumiere 也支援局部替換功能,不論是靜態或是動態,隻要將想要替換的區域圈選出來,再輸入關鍵字,AI 就能自動修改該區域的內容,例如修改影片中人物的服裝,或是替角色加入額外裝飾等,都不成問題。
然而 Google 目前隻是公開研發成果,還未開放給大眾使用,未來推出的日程也尚未確定,所以各位「大膽的想法」還是先收起來吧!
作者:探索