App 市場動態 生活 網路 軟體

OpenAI推出名為GPTBot的網頁爬蟲技術,以更透明方式蒐集人工智慧訓練可用公開資料

為了解決從公開網頁環境擷取資料涉及隱私及著作權爭議,OpenAI宣布推出名為GPTBot的網頁爬蟲技術,將以更透明方式蒐集人工智慧訓練時所需資料。

OpenAI, OpenAI推出名為GPTBot的網頁爬蟲技術,以更透明方式蒐集人工智慧訓練可用公開資料, mashdigi-科技、新品、趣聞、趨勢

OpenAI表示,GPTBot將以完整字串及代幣方式闡明其爬蟲機器人身分,同時其所抓取公開網頁資料僅用於改良未來人工智慧模型,並且剔除抓取需要付費使用內容。

不過,如果網頁經營維護者不希望被GPTBot擷取內容的話,例如網頁可能存放大量涉及個人隱私等內容,僅需在網頁架構中的robots.txt檔案加入「GPTBot」描述,或是自訂GPTBot可抓取內容,甚至OpenAI也提供直接透過限制IP存取範圍方式禁止GPTBot抓取網頁資料的方式,讓網頁經營維護者能避免內容被GPTBot抓取。

過去就有不少網頁透過設定,讓各家搜尋引擎無法透過爬蟲方式擷取網頁資料,而在人工智慧技術持續成長趨勢之下,越來越多人工智慧訓練仰賴大量公開資料進行學習,因此也加深許多網頁經營者擔心內容被用於人工智慧訓練,進而產生有價資料受影響,或是影響隱私安全等問題,因此要求人工智慧技術提供者必須以合理方式取用網頁資料。

楊又肇 (Mash Yang)
mashdigi.com網站創辦人兼主筆,同時也是科技新聞業流浪漢。

發表迴響