App 市場動態 手機 生活 相機 觀察 軟體

訪談/Google Camera怎麼拍出極端夜景影像? 藉由人工智慧與硬體加持

2017年提出以人工智慧技術讓手機相機可輕易拍攝夜間影像細節,並且大幅降低雜訊生成比例,讓當年推出的Pixel 2相機能有更好影像拍攝表現,並且進一步在去年推出的Pixel 3加入以人工智慧運算打造的高解析變焦與夜視拍攝功能

在此次台灣活動中,曾經創造Google Maps街景服務、Google圖書書籍掃瞄器,同時也曾負責帶領Jump光場相機計畫的Marc Lavoy,針對Pixel 3系列手機搭載的拍功能進一步作解析。

, 訪談/Google Camera怎麼拍出極端夜景影像? 藉由人工智慧與硬體加持, mashdigi-科技、新品、趣聞、趨勢

依照Marc Lavoy的說法,Google Camera的設計雖然有不少比例是在軟體運算,但其實也有不少比例會建立在硬體配合之上,例如藉由雙像素對焦 (Dual Pixel)、光學防震、相機基本設計,甚至藉由VPU進行運算加速,不過更大重點還是建立在軟體運算、人工智慧等應用,藉此讓使用者能透過手機拍出滿意的影像呈現結果。

若從使用者透過手機相機取景拍攝預期需求來看,通常會希望在預設模式中,透過單次啟動快門過程即可在最短時間拍出令人滿意的照片,但其中必須解決複雜的快門速度、光圈、曝光值,以及是否產生晃動等影響,背後涉及相當複雜的運算,同時必須在150毫秒內完成拍攝,並且在5秒內完成照片儲存,其實會面臨困難挑戰。

, 訪談/Google Camera怎麼拍出極端夜景影像? 藉由人工智慧與硬體加持, mashdigi-科技、新品、趣聞、趨勢
帶領Google Camera功能研發的Google傑出工程師Marc Lavoy

以Google的作法,則是從軟體運算與人工智慧技術著手,除了持續透過大量照片數據進行學習,讓系統認知什麼是「好看」照片,藉此讓相機預設拍攝模式即可記錄正確色彩、曝光且清晰影像,並且透過15fps拍攝速度記錄多張影像,透過疊圖方式合併成為單張最佳影像結果。

而在Pixel 3搭載的高解析變焦功能,其實就是藉由人工智慧與感光元件上的像素接合應用,讓系統能透過機器學習判斷影像放大後的細節,藉此達成清晰的數位放大效果,而不會出現一般數位放大可能伴隨的格放現象。

雖然從上述說明看起來可以簡單完成,但依然要配合硬體端設計,例如透過數位成像用的感光元件內RGGB拜耳陣列結構,系統會藉由高速連拍過程中記錄影像各個畫素間的位移偏差,並且透過機器學習方式判斷放大過程中應填補像素顏色,進而在數位放大情況下填補失真細節,藉此讓數位放大等同2倍光學變焦效果。

在夜視拍攝功能部分,則是藉由與Intel合作的Pixel Visual Core獨立影像運算元件縮短HDR+處理時間,讓Pixel 3在短時間內完成一般相機難以達成的極限夜間拍攝效果。不過,Marc Lavoy說明Pixel Visual Core獨立影像運算元件主要作用在於縮短HDR+處理時間,因此在Pixel 3a上的夜視拍攝功能整體處理時間會比Pixel 3長一些,但實際運作並沒有太大差異。

至於確認夜視功能即便沒有Pixel Visual Core獨立影像運算元件輔助運算也能在Pixel 3a使用,是否意味Google也會將Google Camera內的夜視拍攝等功能開放給其他廠商使用,或是應用在AR、影像識別、機器學習等領域?就Marc Lavoy表示,確實有其可能性,但目前暫時還沒有此類計畫,但透露或許有機會會將夜視等拍攝功能應用在動態攝影,而非僅聚焦在靜態影像拍攝。

另外,對於透過手機拍攝產生影像,與傳統相機拍攝形成影像的差異,是否造成認知理解上的落差,導致人們對於影像表現結果產生不同需求,就Marc Lavoy看法則認為人眼對於影像原本就會有一定認知想像,對於色彩鮮豔、清晰影像原本就會有更高接受度,因此會持續讓Google Camera可以拍出等同人眼所見影像,甚至可以呈現更多影像細節。

但對於目前Pixel仍堅持使用單一鏡頭,藉此凸顯以軟體搭配硬體方式創造拍攝可能性,現階段暫時還沒有增加額外鏡頭的想法,因此暫時也還無法藉由軟體方式完成廣角拍攝,僅在Pixel 3的視訊鏡頭採用雙鏡頭設計,以利使用者拍攝廣角自拍影像。

, 訪談/Google Camera怎麼拍出極端夜景影像? 藉由人工智慧與硬體加持, mashdigi-科技、新品、趣聞、趨勢
HDR+是Google Camera重要功能之一,並且可應用在各類拍攝需求
, 訪談/Google Camera怎麼拍出極端夜景影像? 藉由人工智慧與硬體加持, mashdigi-科技、新品、趣聞、趨勢
應用機器學習的人工智慧技術也是Google Camera重點之一
, 訪談/Google Camera怎麼拍出極端夜景影像? 藉由人工智慧與硬體加持, mashdigi-科技、新品、趣聞、趨勢
雙像素對焦技術不僅可用於提昇拍攝快門速度,同時也能應用在景深判斷等拍攝需求
, 訪談/Google Camera怎麼拍出極端夜景影像? 藉由人工智慧與硬體加持, mashdigi-科技、新品、趣聞、趨勢
夜景拍攝功能成為Pixel 3、Pixel 3a主打功能,讓使用者能輕易拍出極度夜景環境中的影像內容
楊又肇 (Mash Yang)
mashdigi.com網站創辦人兼主筆,同時也是科技新聞業流浪漢。

發表迴響