現在一些電視或網上節目，例如電視台的天氣報告節目，都使用到電腦去除背景的技術，把主持人身處的廠景背景除去，以合成的電腦圖片或影片取代。而日後這種電腦影像處理手法，將毋須使用色鍵，在背景放置顏色板。Google 開發出全新技術，可實時去除人物背後的任何景物，這種技術更可應用在智能手機裝置。這樣手機用戶在拍攝影片時，就可實時去除原本的背景，套上各種趣味性質的背景。
電視、網台節目的畫面，要在主持人身體背後套用電腦合成的背景，一般做法是在廠內佈置一塊通常為綠色或藍色的顏色幕，利用色鍵技術，從素材中刪除背景，並插入電腦合成的另一個素材。不過 Google 就發展了全新技術「Mobile Real-time Video Segmentation」，用戶毋須事前準備顏色板，在任何地方都可做到去除背景的效果。
Google 指出，這種人物與背景分離的技術，利用到複雜神經網絡系統提供的機械學習來實現。Google 使用了數十萬個圖像樣本，讓機器學習頭髮、頭部、皮膚等各部位的元素。在 Google 提供的測試圖片當中，可看到人物與原本的背景自然地分離，隨後插入另一個背景，也相當自然。
以往利用到 LSTM 與 GRU 技術除去背景的方法，使用到大量電腦資源，在手機上難於實現。研究學者指出，以往的技術要每一個畫格計算人物的位置，而最新演算法，就會參考過去一個畫格人物所處的位置來實行計算，這樣對處理器的負荷可大幅降低。
Google 利用這項最新技術去除背景，可在 iPhone 7 得到 100 fps 以上，在 Google Pixel 2 可得到 40 fps 以上的暢順效果。預料這項技術日後會應用在 YouTube 的「Story」當中，但實際加入的時間則尚未明確。
原文網址：https://research.googleblog.com/2018/03/mobile-real-time-video-segmentation.html
資料來源：Google
分享到 :
最新影片
