2018/04/25,
科技

人工智能修補圖片技術大躍進

人工智能修補圖片技術大躍進
Nvidia影片截圖

我們想讓你知道的是

Nvidia研究人員的新演算法，能夠大幅減少修補圖片留下的痕跡。

2010年推出的Photoshop CS5版本，首度加入「內容感知填色」（Content-Aware Fill）功能，可以讓人移除照片中特定區域的內容——例如拍照時不小心進了畫面的路人——原理是透過PatchMatch演算法按照區域附近資訊，計算及搜尋出要填補的內容。

像PatchMatch這類使用統計方式的圖片修補演算法，受限於圖片上的資訊分佈，而且無法理解圖像內容。借助近年發展迅速的深度學習技術，人工智能專家開始研發相關的圖片修補演算法。近日繪圖處理器（GPU）大廠Nvidia的研究人員發表研究，介紹他們利用部分卷積層（partial convolutions layer）的圖片修補演算法，並附上測試圖片顯示其結果。

圖1四張圖片中，左上是原圖，右上則是被抹除部分區域作測試用的圖片。演算法需要填補右上圖中的空白︰

Image_Inpainting_1
Image Credit: Guilin Liu et al. 2018
圖1

下面兩張圖片是演算法修補的結果，左下是PatchMatch演算法，右下則是今次研究的演算法。從結果可見，PatchMatch無法區分圖中畫作和牆壁，因此用上部分牆壁的顏色資訊來填滿畫作部分的空白，而Nvidia的演算法則無此問題。

至於過往一些使用卷積神經網絡的演算法，修補結果亦似乎不太好（左邊演算法簡稱為GL，右邊為GntIpt）︰

Image_Inpainting_2
Image Credit: Guilin Liu et al. 2018
圖2

研究人員表示，過往卷積網絡演算法會受要填補的洞影響，視覺上有明顯加工痕跡，以致需要大量後製，此外這類演算法亦主要修補長方形、在圖片中心的洞，實際應用有限。

為了令演算法可用於填補不規則的洞，他們分析了含有不同大小、形狀的洞的圖片修補結果，發現除了洞的大小外，那些洞是否跟圖片邊界接觸也會影響結果。對應這個問題，他們建議使用部分卷積網絡來處理，以下是部分測試結果（左邊為要修補的圖片、中間是演算法修補結果、右邊為原圖）︰

Image_Inpainting_3
Image Credit: Guilin Liu et al. 2018
圖3

仔細跟原圖比較的話，還是能看到不少差異，不過考慮到要修補的圖抹去不少像素資訊，這個結果可謂非常優異。而且重點是，從結果圖片中我們不太看得到修補的痕跡。

另一項測試使用名人頭像照片，研究人員亦有把他們的演算法跟另一演算法GntIpt比較（由左至右︰測試圖片、GntIpt演算法修補結果、是次研究演算法修補結果、原圖）︰

Image_Inpainting_4
Image Credit: Guilin Liu et al. 2018
圖4

雖然受資訊限制，演算法無法把圖片回復原狀，但從結果顯示，演算法修補結果逼真，其「無中生有」的能力甚佳。

不過這個演算法也不是毫無弱點，在面對一些較疏落的結構時，其修補結果就跟其他演算法差不多（左至右︰測試圖片、修補結果、原圖）︰

Image_Inpainting_5
Image Credit: Guilin Liu et al. 2018
圖5

除了修補圖片外，演算法亦可以用來把低解像圖片放大（左至右，低解像圖版本、演算法放大結果、原圖）︰

Image_Inpainting_6
Image Credit: Guilin Liu et al. 2018
圖6

研究人員表示，就他們所知，這是首次有人成功訓練神經網絡修補圖片中不規則的洞。他們亦打算把訓練使用的不規則遮罩數據公開，促進未來類似演算法的發展。

以下是Nvidia的示範影片，可見演算法處理圖像甚快︰

相關文章︰

資料來源︰


TNL 網路沙龍守則

TNL網路沙龍是關鍵評論網讓讀者能針對文章表達自身觀點的留言區。我們希望在這裡，大家可以理性的發表自己的看法，並對不同的論點保持開放心態，促進多元意見的交流與碰撞。

現在網路上的留言討論常淪為謾罵與攻擊的場域，反而造成了彼此更大的歧異，無法達成討論與溝通的目的。

為了改善這個問題，我們希望打造一個讓大家安心發表言論、交流想法的環境，讓網路上的理性討論成為可能，藉由觀點的激盪碰撞，更加理解彼此的想法，同時也創造更有價值的公共討論，所以我們推出TNL網路沙龍這項服務。

我們希望參與討論的你謹記以下幾個基本守則，與關鍵評論網一起提升網路沙龍的品質：

  • 尊重多元：分享多元觀點是關鍵評論網的初衷，沙龍鼓勵自由發言、發表合情合理的論點，也歡迎所有建議與指教。我們相信所有交流與對話，都是建立於尊重多元聲音的基礎之上，應以理性言論詳細闡述自己的想法，並對於相左的意見持友善態度，共同促進沙龍的良性互動。
  • 謹慎發言：在TNL網路沙龍，除了言論自由之外，我們期待你對自己的所有發言抱持負責任的態度。在發表觀點或評論時，能夠盡量跟基於相關的資料來源，查證後再發言，善用網路的力量，創造高品質的討論環境。並且避免對於不同意見的攻擊、惡意謾罵言論。

為了鼓勵多元評論與觀點的碰撞激盪，並符合上述兩個守則前提下，我們要求所有沙龍參與者都遵守以下規範，當您按下同意開始使用本沙龍服務時，視為同意此規範：

  • 您同意為您自身言論負完全法律責任，您不會發表不適當言論，包含但不限於惡意攻擊言論、歧視言論、誹謗言論、侵害他人權利或任何違法情事。
  • 您同意您不會張貼任何帶有商業行銷或廣告直銷之勸誘式廣告內容。
  • 本集團有權管理沙龍所有內容，以利維護沙龍良性的溝通環境與氛圍。
  • 本集團有權隨時新增或修改此規範，如有增修將公告於本網站。若公告後您仍繼續使用本網站，即視為同意接受增修版規範。