Tag: PyTorch

過去開源以Torch為基礎，並且在底層以常見C++程式語言實現的Python機器學習資料庫PyTorch之後，Facebook稍早再度宣布開源可用於3D環境進行機器學習的資料庫PyTorch3D，藉此讓更多開發者能藉由Python簡化3D環境內的機器學習設計，甚至能夠將學習結果對應至2D圖像內容。 由於在目前與真實世界有所串接的人工智慧應用，例如機器人對於空間感知能力表現，或是自駕車對於真實世界中的物件遠近判斷，藉由3D建模進行空間感知學習訓練成為相當重要環節，此次Facebook宣布開源PyTorch3D資料庫，自然也是希望透過開源方式讓3D空間內的機器學習應用可以加快普及，同時也能更容易被廣放使用。 而為了簡化3D模型建模批次處理流程，Facebook也提出針對機器學習模型打造的Meshes格式，藉此處理異構學習模型數據結構，並且讓應用程式可以更容易串接3D環境內的機器學習項目。 此外，應用PyTorch3D資料庫的學習結果也能轉換用於2D圖像內容，藉此讓3D物件轉換為2D圖像時，依然能讓系統分辨圖層前後關係，例如用於識別正確照片中的人物前後位置關連，進而能夠實現更自然的景深後製調整效果，而不會出現前方人物衣服與背面人物一同被模糊，卻只有臉部維持清晰的奇怪現象。 Facebook將PyTorch3D資料庫開源之後，預期將能帶動更廣泛的機器學習應用。

先前藉由人工智慧技術讓電腦系統能針對影像殘缺部位進行完美修補之後，NVIDIA稍早再與麻薩諸塞州州立大學及加州大學合作，藉由深度學習、插入影像補正等方式，讓一般影片內容可以透過運算方式轉換為480fps慢動作影片。 目前越來越多智慧型手機強調240fps以上的慢動作錄影功能之後，顯然有不少生活影片分享內容開始藉由慢動作形式呈現，但並非所有慢動作影片都能恰好在對的時間被捕捉拍攝，因此為了影片詮釋效果，多少還是必須配合軟體運算後製而成。 而針對此類需求，NVIDIA與麻薩諸塞州州立大學及加州大學合作項目，則是運用Tesla V100 GPU與基於cuDNN神經網絡的PyTorch深度學習框架，以及配合卷積式神經網絡運算結構，讓電腦系統分析超過1萬組以上的240fps慢動作影片，藉此學習慢動作影像表現方式，讓電腦系統能自行學會如何將一般24fps-30fps的影片內容轉換成高達480fps的慢動作影片，藉此對應各類影片特效製作。 這樣的技術，搭配先前同樣藉由深度學習運算的影像修補，或是影像物件抹除效果，將使未來影片剪輯變得更加方便，同時整體運算補正效果也幾乎貼近自然，除非原本參考範本就有一定瑕疵，否則幾乎難以辨識是否透過電腦運算處理。

相比第一天的主題演講著重在Facebook主要服務項目帶來哪些改變，F8開發者大會第二天的主題演講幾乎聚焦在人工智慧技術應用，而為了讓更多開發者可藉由人工智慧技術資源打造應用服務，Facebook宣布整合旗下Caffe2，以及與微軟、亞馬遜等廠商共同推動開放學習框架ONNX的深度學習系統PyTorch 1.0，藉此協助開發者縮減各類人工智慧技術應用所需訓練時間。 Facebook預計在未來幾個月內向開發者釋出PyTorch 1.0測試資源，其中將包含對應Facebook基本服務的應用工具、資料庫，以及預先完成訓練的基礎模型等資源，讓開發者能藉由這些資源更容易打造各類以人工智慧驅動的應用服務。 就Facebook目前服務項目，其實有不少部分均已導入人工智慧技術應用，例如用於過濾不當言論、罷凌內容，甚至進一步分析假帳號、假新聞、恐攻內容與自殺發言，或是用來協助使用者媒合最佳合適閱讀內容、串接更多使用者可能認識的人，以及協助翻譯不同語言內容。 根據Facebook說明，目前已經藉由人工智慧過每天濾成千上萬組假帳號，同時也在今年第一季內移除各類恐攻相關內容。同時，Faceboo也透過Instagram服務中超過35億組照片與17000組標籤內容，讓人工智慧系統進行訓練，目前約可達成85.4%的物件正確識別率。 而基於人工智慧技術背後依然是藉由巨量資訊進行學習，其中也涉及隱私保護與道德原則，Facebook更強調在持續構思更好保護用戶個人隱私資訊之餘，同時也會避免人工智慧技術產生更大負面影響，甚至造成使用不平等相關問題。