利用人工智能 把梵谷的藝術風格移植到其他影片

利用人工智能 把梵谷的藝術風格移植到其他影片
Photo Credit: WU HONG / EPA / 達志影像

我們想讓你知道的是

德國一個研究小組嘗試利用演算法,把藝術作品的風格移植到其他影片上,成功解決先前遇到的難題。

人工智能領域中,近年「深度學習」(deep learning)技術發展迅速,為機器學習及辨認模式方面帶來重大進步。今年3月的圍棋人機大戰中,跟世界冠軍李世乭對奕的程式AlphaGo,正是使用深度學習技術。

來自德國弗萊堡大學電腦科學系的研究人員,嘗試拓展電腦在圖像辨識方面的極限。他們利用「深度神經網絡」技術,讓電腦先學會辨認一些著名畫作的藝術風格,再把風格移植到測試影片上。

Image Credit: Manuel Ruder, Alexey Dosovitskiy, Thomas Brox

Image Credit: Manuel Ruder, Alexey Dosovitskiy, Thomas Brox

「深度神經網絡」擁有多層結構,每一層都能夠在圖象中抽取若干資訊,把餘下的數據傳到下一層。頂層提取比較廣泛的特徵,例如顏色。而較深入的層次則提取更多細節,讓神經網絡能夠辨認物件。深層所提取的資訊,基本上是圖片內容減去顏色、紋理等資訊,從而得出對圖片更抽象的理解。

去年德國圖賓根大學的研究人員,嘗試以這個方法去了解藝術風格。他們發現,透過專注於神經網絡中不同層之間的關係,電腦能夠捕捉藝術風格。他們最主要的發現,是圖片的內容能夠跟藝術風格完全分開,更進一步的是,他們能夠以「複製、貼上」的形式,把風格套用在不同內容的圖片上。

Image Credit: Leon A. Gatys, Alexander S. Ecker, Matthias Bethge

Image Credit:
Leon A. Gatys, Alexander S. Ecker, Matthias Bethge

他們嘗試更進一步,利用神經網絡從圖片抽取風格,再套用到影片之上。但很快就發現問題︰當電腦把風格套用到影片中連續兩格畫面時,畫面之間的些微差異會影響到如何應用風格,使影片看起來變得跳躍、散亂。

弗萊堡大學的研究人員今次就解決了這個問題,成功將藝術風格移植到影片上。他們首先利用演算法分析影片,找出連續兩格畫面之間的差異,確保電腦套用風格時,畫面中靜止的地方盡量保持不變。

然後研究團隊從不同畫作出提取其藝術風格,包括康丁斯基、畢卡索、馬蒂斯、泰納等畫家的作品,當然還少不了孟克的名作《吶喊》及梵谷的《星夜》。接下來他們開始重製影片,每一格大小為1024×436的畫面,都需要花8至10分鐘的電腦運算,才能把風格套用上去。

以下是他們得出的部份成果︰

相關文章

資料來源


猜你喜歡

Tags: