• 頭條話題
  • 人工智慧
  • 自動駕駛
  • 網路
  • 處理器
  • 手機
  • 展覽活動
    • CES
      • CES 2014
      • CES 2015
      • CES 2016
      • CES 2017
      • CES 2018
      • CES 2019
      • CES 2020
    • MWC
      • MWC 2014
      • MWC 2015
      • MWC 2016
      • MWC 2017
      • MWC 2018
      • MWC 2019
    • Computex
      • Computex 2014
      • Computex 2015
      • Computex 2016
      • Computex 2017
      • Computex 2018
      • Computex 2019
    • E3
      • E3 2014
      • E3 2015
      • E3 2016
      • E3 2017
    • IFA
      • IFA 2014
      • IFA 2015
      • IFA 2016
      • IFA 2017
    • TGS
      • TGS 2016
  • 關於我們
    • 關於mashdigi
    • mashdigi網站聯繫方式
2025 / 12 / 14 19:00 Sunday
  • Login
mashdigi-科技、新品、趣聞、趨勢
  • 頭條話題
  • 人工智慧
  • 自動駕駛
  • 網路
  • 處理器
  • 手機
  • 展覽活動
    • CES
      • CES 2014
      • CES 2015
      • CES 2016
      • CES 2017
      • CES 2018
      • CES 2019
      • CES 2020
    • MWC
      • MWC 2014
      • MWC 2015
      • MWC 2016
      • MWC 2017
      • MWC 2018
      • MWC 2019
    • Computex
      • Computex 2014
      • Computex 2015
      • Computex 2016
      • Computex 2017
      • Computex 2018
      • Computex 2019
    • E3
      • E3 2014
      • E3 2015
      • E3 2016
      • E3 2017
    • IFA
      • IFA 2014
      • IFA 2015
      • IFA 2016
      • IFA 2017
    • TGS
      • TGS 2016
  • 關於我們
    • 關於mashdigi
    • mashdigi網站聯繫方式
No Result
View All Result
  • 頭條話題
  • 人工智慧
  • 自動駕駛
  • 網路
  • 處理器
  • 手機
  • 展覽活動
    • CES
      • CES 2014
      • CES 2015
      • CES 2016
      • CES 2017
      • CES 2018
      • CES 2019
      • CES 2020
    • MWC
      • MWC 2014
      • MWC 2015
      • MWC 2016
      • MWC 2017
      • MWC 2018
      • MWC 2019
    • Computex
      • Computex 2014
      • Computex 2015
      • Computex 2016
      • Computex 2017
      • Computex 2018
      • Computex 2019
    • E3
      • E3 2014
      • E3 2015
      • E3 2016
      • E3 2017
    • IFA
      • IFA 2014
      • IFA 2015
      • IFA 2016
      • IFA 2017
    • TGS
      • TGS 2016
  • 關於我們
    • 關於mashdigi
    • mashdigi網站聯繫方式
No Result
View All Result
mashdigi-科技、新品、趣聞、趨勢
No Result
View All Result
首頁 市場動態

Google公布其通用語言模型研究結果,強調比OpenAI的Whisper有更好語意理解表現
採持續自我監督學習,並且不斷進行微調

撰文: 楊又肇 (Mash Yang)
2023-03-07
in 市場動態, 生活, 觀察, 軟體
A A
0
分享至 Facebook分享至 Twitter分享至 LINE

Google稍早公布其去年11月投入的通用語言模型研究結果,其中加入長達1200萬小時語音內容長度,以及280億組訓練參數,同時對應超過300種語言,目前已經能支援超過100種語言識別,未來目標可支援超過1000種語言。

Sponsored

依照Google說明,其通用語言模型採持續自我監督學習,並且不斷進行微調,藉由BEST-RQ演算法在無外部監督情況下持續分析、學習語言結構,自動完成80%比例的學習量。

此外則是透過多目標監督預先訓練模型,包含text injection、BEST-RQ,以及監督式loss函數等方式共同訓練,藉此整合其他資料訓練結果,藉此讓訓練模型能理解語言所描述內容、語意,同時也透過監督式loss函數微調最終輸出結果。

這樣的訓練結果裡,Google表示在沒有透過監督式loss函數進行最終微調,其實就已經能獲得相當好的語意理解與陳述表現,應用在YouTube的語言翻譯功能中,已經能在73種語言翻譯結果的單詞錯誤率 (WER,Word Erroe Rate)實現低於30%比例表現。

在美式英語的理解表現中,Google更說明其通用語言模型相比其他先進語言模型的單詞錯誤率更低,正確率甚至提高6%比例,相比OpenAI提出的大型語言模型Whisper對應的18種語言,其單詞錯誤率平均在32.7%,而Whisper的單詞錯誤率平均在40%以下。

其他部分,Google更強調在對應非裔美籍人士使用英語口語的CORAAL、混合不同口音的SpeechStew,以及對應102種語言的FLEURS測試表現中,在語音辨識結果的正確率都在Whisper之上。而在自動語意翻譯表現部分,Google更強調其通用語言模型在BLEU的分數表現比Whisper更好。

Google目前已經對外通用語言模型相關研究論文,同時也針對研究人員提供此通用語言模型API,藉此作為更多衍生研究應用。

在先前對外說明中,Google認為一旦解決語言理解上的隔閡,將有利於推動更多應用發展機會,同時也能促使更多服務吸引眾人使用。

Tags: AIGoogleOpenAIUSMWhisper通用語言模型
ShareTweetShare
楊又肇 (Mash Yang)

楊又肇 (Mash Yang)

mashdigi.com網站創辦人兼主筆,同時也是科技新聞業學習者。

Leave a Reply Cancel reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

  • 熱門
  • 留言
  • 最新
同時支援6GHz以下頻段與毫米波 Sony揭曉開發中旗艦手機Xperia PRO

同時支援6GHz以下頻段與毫米波 Sony揭曉開發中旗艦手機Xperia PRO

2020-02-24
訪談/Sony定調全新旗艦手機的Xperia 5,究竟是否歸類「Compact」定位?

訪談/Sony定調全新旗艦手機的Xperia 5,究竟是否歸類「Compact」定位?

2019-09-07
Raspberry Pi基金會宣布推出Raspberry Pi 5開發板,顯示供應鏈問題已經獲得改善

Raspberry Pi基金會宣布推出Raspberry Pi 5開發板,顯示供應鏈問題已經獲得改善

2023-09-28
Google從明年5月起將讓非AMP格式網頁也能優先納入行動搜尋結果

Google從明年5月起將讓非AMP格式網頁也能優先納入行動搜尋結果

2
Ubuntu母公司確認計畫上市募股 但仍未有具體時程表

Ubuntu母公司確認計畫上市募股 但仍未有具體時程表

1

索尼互動娛樂證實PlayStation 5僅向下相容絕大多數的PlayStation 4平台遊戲

0
ChatGPT每週活躍用戶超過8億人,將以平台化形式佈局開放式AI開發生態

矽谷AI人才搶奪大戰:OpenAI入職就給股權,微軟不跟著Meta拚天價薪酬

2025-12-14
亞馬遜將數位版權管理交還給出版商,但Kindle上的電子書擁有權仍有爭議

亞馬遜將數位版權管理交還給出版商,但Kindle上的電子書擁有權仍有爭議

2025-12-14
雖然法院判蘋果有權抽成,Epic Games執行長堅決只願意付「工本費」

雖然法院判蘋果有權抽成,Epic Games執行長堅決只願意付「工本費」

2025-12-14
mashdigi-科技、新品、趣聞、趨勢

Copyright © 2017 mashdigi.com

  • 關於 mashdigi.com
  • 投放廣告
  • 聯繫 mashdigi.com

追蹤我們

Welcome Back!

Login to your account below

Forgotten Password?

Retrieve your password

Please enter your username or email address to reset your password.

Log In
No Result
View All Result
  • 關於 mashdigi.com
  • 投放廣告
  • 聯繫 mashdigi.com

Copyright © 2017 mashdigi.com

Go to mobile version