GANs是雙面刃:協助打造更擬真的影像,卻也讓網路上「假臉」橫行

GANs是雙面刃:協助打造更擬真的影像,卻也讓網路上「假臉」橫行
Karras, T., Aila, T., Laine, S., & Lehtinen, J. (2017). Progressive growing of gans for improved quality, stability, and variation.
我們想讓你知道的是

深度學習此類型的AI技術,特別是GANs,是把雙面刃。既可應用於擴增資料、增強影像還原技術等正面研究,亦可刻意生成不當的影視訊來混淆視聽、造成社會動亂。此一嚴重性,不可不正視之。

文:許志仲(國立屏東科技大學資訊管理系助理教授)、莊易修(國立屏東科技大學資訊管理系碩士生)

2012年以來,深度學習(Deep Learning)技術大爆發,電腦視覺(Computer Vision)與其他許多研究領域,紛紛投入深度學習的懷抱。

2014年,一種名為對抗生成網路(Generative Adversarial Nets, GANs)的概念被提出來,用於生成各種擬真的影像。自此之後,許多研究者紛紛投入GANs的改良研究,企圖發展出更擬真的影像或視訊。

究竟GANs帶來什麼問題,有哪些最新研究趨勢可以解決?

GANs是雙面刃
1586437419-557708740
圖片來源:Karras, T., Aila, T., Laine, S., & Lehtinen, J. (2017). Progressive growing of gans for improved quality, stability, and variation.
圖一、PGGAN(Progressive Growing of GANs)所產生的偽造人臉影像(註2)。

就如同所有的技術一樣,若被不當的使用,可能引發不可想像的嚴重後果。2018年,經過4年的改良,已經可以很容易生成非常逼真、且具有足夠解析度的偽造影像。如圖一所示,對於大多數的使用者來說,很難在短時間內辨識出真偽。

這也是GANs首度有接近自動化的能力,可以自動生成一個不存在的人的視訊資料;也可自動將既有的影片換上特定的臉部特徵。雖然早期是用於研究目的,且具有某些實用價值,例如生成人臉或生成任何影像,來擴充原本訓練影像不夠的情況,解決AI無法良好學習的問題。但不當使用卻會帶來嚴重的後果,特別是偽造合成的人臉影像。

例如,它可以用於Facebook或其他社群網站上,創建虛假的個人帳戶,並且使用合成的臉部圖像,來混淆某事或欺騙某人。更進一步的,GANs可能會用於創造和任何著名政治家十分相似的合成臉部,來發表演講影片,造成社會、政治和商業活動的嚴重問題。

一個很好的例子是「Deepfake」以及相關的應用,被廣泛用在許多不恰當的地方,例如合成色情影視訊等,已經嚴重危害到現今社群網路上的媒體可靠性。

根據一則最近的新聞指出,這類Deepfake軟體合成出的偽造影片,甚至有機會影響選情(註1)。深度學習此類型的AI技術,特別是GANs,是把雙面刃。既可應用於擴增資料、增強影像還原技術等正面研究,亦可刻意生成不當的影視訊來混淆視聽、造成社會動亂。此一嚴重性,不可不正視之。

偽造影像的偵測與防治

在台灣,對於偽造影像偵測的研究有限。2018年還尚未有任何學術論文,開始探討偽造影像所帶來的危害。全球也尚未開始重視偽造影像帶來的危害與問題。

2018年中後段,全球才開始有一些研究團隊意識到此問題之重要性,因此紛紛開始投入人力研究,利用AI來反制AI的偽造影像。一般來說,大多數的研究會採取監督式學習(Supervised Learning),將偽造影像辨識出來,方法上與其他做影像辨識的任務並無差別。

由於GANs改良的研究日新月異,要蒐集所有的GANs來訓練將曠日廢時。此外,若未來又有新的GANs產生,則偽造人臉檢測器便須重新訓練。

與以往純監督式學習截然不同的策略之一,是採用成對學習(Pairwise Learning)[3)的概念,試圖去找出不同GANs網路之間存在的共同瑕疵。藉此便可不需要蒐集所有的GANs,當新的GANs被提出來之後,亦不需要重新訓練偽造人臉檢測器。

我們首先在2018年中,研發出透過對比損失函數(Contrastive Loss),來學習五個具有代表性的GANs偽造影像的共同特徵,藉此來訓練偽造人臉偵測器,可達八成五以上的準確率(註4)。2018年底我們改進方法後,引入三元損失函數(Triplet Loss)來強化共同偽造特徵的學習,並針對深度學習網路,提出了雙重神經網路(Coupled Network)來加強效能。此項成果,更可達到約九成到九成五的準確率(註5)。

未來,這一類的偽造人臉影像偵測器可結合社群網路或媒體,審核上架照片、影片視訊的內容。若內容可能為偽造影像,則可進一步透過人工檢視、或是自動屏蔽,降低不實的影視訊在網路上流竄的機率,進而達到偽造影像的防治。

全球聯手對抗偽造影像

2019年初國際上開始重視這類議題,其中最早重視此議題的是慕尼黑工業大學,和義大利拿坡里費德里克二世大學,在2019年1月提出的偽造人臉資料庫:Face Forensic++(註6)。

2019年10月,微軟以及Facebook宣布,攜手建立Join the Deepfake Detection Challenge(DFDC)。DFDC的主要目的跟FaceForensic一樣,都是希望可以透過舉辦競賽,收集全球有志人士針對偵測偽造影像視訊內容的演算法,並提高大家對於這些偽造影像的認知。

或許接下來會出現一個新的GANs,其效果遠超越過去的GANs,使得所有的偽造影像偵測器都失效。亦有可能,有共同目標的研究團隊,能發現GANs這類型偽造影像的致命缺點,瞬間止住偽造影像的流竄。然而我們可以確定的一點是,AI的攻防戰會繼續持續下去。

註釋
  1. Evan Halperstaff. (2019,11,05). Deep fake videos could upend an election — but Silicon Valley may have a way to combat them. Losangelas times.
  2. Karras, T., Aila, T., Laine, S., & Lehtinen, J. (2017). Progressive growing of gans for improved quality, stability, and variation. arXiv preprint arXiv:1710.10196.
  3. 成對學習與「配對法排序學習演算法Pairwise Learning to Rank」兩者是不同的方法,但Pairwise learning也有人翻譯成配對學習。
  4. Hsu, C. C., Lee, C. Y., & Zhuang, Y. X. (2018, December). Learning to Detect Fake Face Images in the Wild. In 2018 International Symposium on Computer, Consumer and Control (IS3C) (pp. 388-391). IEEE.
  5. Zhuang, Y. X., & Hsu, C. C. (2019, September). Detecting Generated Image Based on a Coupled Network with Two-Step Pairwise Learning. In 2019 IEEE International Conference on Image Processing (ICIP) (pp. 3212-3216). IEEE.
  6. FaceForensic++是資料庫全名,FaceForensic則是代表該收集資料庫的計畫名稱。

本文經新興科技媒體中心授權刊登,原文刊載於此

責任編輯:朱家儀
核稿編輯:翁世航