唔使綠幕,YouTube用人工智能即時退地

唔使綠幕,YouTube用人工智能即時退地
Image Credit: Google
我們想讓你知道的是

Google的人工智能已可以為影片製作者即時去除背景,無須借助綠幕技術。

唸給你聽
powered by Cyberon

文︰Anny

人工智能運用在YouTube除了優化推薦和內容審核,為創作者提供更便利的影片工具也是他們重要的計畫,日前Google宣布在YouTube App推出即時退地功能,利用神經網路影片分割(Neural network video segmentation)就能即時更換背景。

image3
Image Credit: Google

一般創作者在影片拍攝時常需要租借綠幕攝影棚,後製時再手動進行背景更換,Google最新的機器學習成果,不用額外的裝置就能讓人物及背景即時分層,創作者不需要專業設備也無須耗費時間,也能製作出具備個人風格背景的影音內容。

Google工程師在官方部落格公布詳細的技術內容,他們利用機器學習來完成卷積神經網路的語義分割,設計適用於手機的網路架構和訓練程式,在行動裝置上需要以輕量級運作速度,至少要比現有最先進照片分割模型快10-30倍,提供每秒30幀的推論結果。

image1

目前此卷積神經網路在iPhone7可播放每秒超過100個以上畫面(100+FPS)之速度,在Pixel2上的也有40+FPS,精準度高達到94.8%。

為了讓機器學習提供高品質的數據,他們標記了成千上萬個圖像資料,這些來自圖像捕捉前景姿勢和背景畫面。標記的元素包括的前景人物會出現的元素如頭髮、眼鏡、脖子、皮膚、嘴唇等,和一般的背景標籤相比達98%的像素精確度。更多詳細的內容已公開在Google研究部落格

image5

在訓練過程他們讓每秒的畫面更連慣,人像和背景間的交界更平滑,目前還在測試階段,背景的樣式並不多,早晨、黑夜、工作室燈光、霓虹等等場景,就像在其他社群軟體即時動態更換濾鏡ㄧ樣簡單的操作,Google團隊表示未來他們將分析更多資料,標記更多的數據,同時也計劃將此技術整合到Google的AR功能上。

image2
Image Credit: Google

相關文章︰

本文經作者授權刊登,原文發表於此

核稿編輯︰鄭家榆

或許你會想看
更多『新聞』文章 更多『科技』文章 更多『Inside 硬塞的網路趨勢觀察』文章
Loader