夏天的尾巴

機器學習研究人員開發了一套系統，它可以利用一個人臉部的單幀畫面呈現出逼真的動作。有了這樣的系統，我們不僅可以對照片進行動畫化處理，而且還能讓那些畫作 “活” 過來。該系統的效果還不完美，但它做出的成果——跟如今大多數人工智能作品一樣——既怪異又令人着迷。

三星人工智能研究中心（Samsung AI Center）在其發表的論文中描述了這個系統，該論文已經上傳到預印本網站 Arxiv。該系統使用了新的方法，將源面孔（即人在講話時的頭部特寫）上的面部標誌物與目標面孔的數據對應起來，從而讓目標面孔做出源面孔的動作。

這本身並不新鮮，而且這也是人工智能領域目前所面臨的合成圖像問題的組成部分（對於這個問題，我們最近在伯克利擧行的 “Robotics AI” 活動上進行過有趣的探討）。我們現在已經可以在一段視頻中生成一張面孔，讓它模仿另一張面孔在說話或觀望時的神情。但那些模型大多需要很多數據，例如對一兩分鍾的視頻數據進行解析。

然而，三星駐莫斯科的研究人員在他們的新論文中展示，隻使用單張人臉圖像，他們就能生成讓目標面孔轉動、說話或做表情的視頻，其效果雖遠非完美無瑕，卻具有令人信服的表現力。

為了做到這一點，這套系統預先使用大量數據饋入面部標誌物識别過程，從而讓模型能夠非常高效地在目標面孔中找到對應於源面孔的部份。系統掌握的數據越多，效果會越好，但它也可以透過一張圖像來生成視頻（這被稱為單張圖像學習），而且效果也說得過去。有了這樣的技術，我們就有可能使用愛因斯坦或瑪麗蓮·夢露的照片，乃至於《蒙娜麗莎》這幅畫作，讓圖像中的人物像真人那樣說話和做出動作。

在上面這個例子中，研究人員使用 3 個不同的源視頻對《蒙娜麗莎》進行了動畫化處理。你可以看到，最終的成果各自都存在非常大的差異，在人物的面部結構和行為擧止上都是如此。

而且，這個系統還使用了所謂的生成對抗網絡（GAN），也就是讓兩個模型相互對抗，一個模型試圖欺騙另一個模型，讓後者認為它生成的東西是 “真的”。透過這些方法，最終生成的結果達到了 “創作者” 模型設定的真實度標准，而 “鑒别者” 模型必須，比如說，90% 確定這是真正的人臉，整個過程才能繼續下去。

在研究人員提供的其他例子中，生成結果的質量和真假辨識度差異很大。有些例子使用的源視頻來自於有線電視新聞，結果生成出來的目標視頻也重現了源視頻底部的滾動新聞條，用亂碼進行了填充。如果你有心尋找的話，人工智能作品慣有的怪異到處可見。

話雖如此，這個系統能夠達到這樣的效果是非常了不起的。不過，請註意一點，它現在隻適用於臉部和上半身，你還不能讓蒙娜麗莎打響指或是跳舞。不管怎樣，我們還沒有走到那一步。

翻譯：王燦均（@何無魚）

Mona Lisa frown: Machine learning brings old paintings and photos to life