Tag: LLM

在今年AWS re:Invent 2025大會期間，Amazon執行長Andy Jassy在一場對內部員工的談話中，分享了其當年帶領AWS團隊時的心路歷程。他提到：「只要你能堅持下去、留在船上，你可能會發現自己與一群人共同打造出非凡的事物」。而這份關於「韌性」 (Resilience)與專注於「可控因素」的哲學，不僅成為AWS成功基石，似乎也正呼應著AWS在當前AI浪潮中，從單純的生成式AI (Generative AI) 轉向更具實踐力的「AI代理」 (AI Agents)的戰略佈局。 相較於過往強調模型算力與參數規模，今年re:Invent活動的核心關鍵字無疑是「Agentic AI」 (代理式AI)。而AWS試圖透過一系列新服務，解決企業在缺工、效率瓶頸與轉型壓力下的真實痛點。 從大型語言模型到AI代理服務：從「懂你說什麼」到「幫你做事情」 在深入AWS的佈局前，必須先釐清大型語言模型 (LLM)與AI代理 (AI Agent)的本質差異。 簡單來說，大型語言模型像是擁有海量知識的「大腦」，它擅長理解、生成文本或影像，但它通常是被動的。而AI代理則是在「大腦」之外，加上了「手腳」與「工具」。AI代理不僅能理解指令，還具備規劃 (Planning)、記憶 (Memory) 與使用工具 (Tool use)的能力，能自主完成如「查詢庫存並下單」、「撰寫程式碼並佈署」等複雜任務。 然而，這也帶來了新的挑戰：安全、隱私與是否合規。當AI開始能「行動」時，企業最擔心的就是它可能「暴走」。 因此，這成為AWS此次推出Amazon Bedrock AgentCore更新的核心價值，透過新增的「Policy」 (策略) 功能，企業能以自然語言設定代理的行為邊界 ...

為了讓人工智慧更具透明度，並且減少一本正經胡說八道的情況，OpenAI說明正在開發一種全新的訓練框架，被團隊稱為「懺悔」 (Confession)機制，其核心概念在於訓練AI模型主動承認自己何時表現出不良行為，即便該行為本身是錯誤的，只要「誠實招認」，就能獲得獎勵。 解決AI「阿諛奉承」與過度自信的幻覺 OpenAI指出，目前大型語言模型 (LLM) 通常被訓練為產出「看起來符合用戶預期」的回應。而這也導致一種副作用：模型越來越容易出現「阿諛奉承」 (sycophancy)的傾向，亦即為了討好用戶而順著話說，或者是充滿自信地陳述錯誤資訊 (也就是產生幻覺現象)。 為了解決這個問題，新的訓練模型試圖鼓勵AI在提供主要答案之外，給出一個「次要回應」 (secondary response)，解釋其做了什麼才得出答案。 獎勵機制：只要誠實，承認「作弊」也給分 這個「懺悔」系統的運作邏輯與傳統訓練截然不同，一般的回答會根據有用性、準確性與合規性來評分，但「懺悔」僅根據「誠實度」來評分。 而OpenAI在技術文件中解釋：「如果模型誠實地承認自己繞過測試 (hacking a test)、偷懶 (sandbagging)，甚至違反指令，系統將會針對這種承認行為增加獎勵，進而讓模型可以更如實陳述在什麼過程「說謊」，進而讓系統能使模型即時修正所生成答案，藉此降低生成內容有「幻覺」的比例。 意味OpenAI希望「鼓勵」模型對自己的行為保持坦率，即便是潛在的問題行為也不隱瞞，而這種讓AI學會「懺悔」的機制，或許將成為未來提升大型語言模型安全性與可解釋性的重要一環。

AI晶片新創耐能 (Kneron) 今日 (11/26)發表包含旗艦產品KL1140在內新一代AI系列晶片，並且由創辦人暨執行長劉峻誠博士揭示其未來三年的完整產品藍圖，更象徵耐能正式完成從低階到高階的全算力佈局，宣告從單純的晶片供應商，進化為全方位的「AI基礎建設公司」 (AI Infrastructure Company)。 KL1140：終端完整執行Mamba架構，打破雲端依賴 此次發表的旗艦KL1140，號稱是全球首款能在終端設備上完整運行Mamba神經網路架構 (註)的邊緣AI晶片。Mamba架構近期在AI領域備受關注，被視為能與Transformer架構分庭抗衡的新星。 耐能強調，KL1140在能效上達到現有雲端方案的3倍，成本更大幅下降10倍。透過4顆KL1140並聯，即可支援運行高達1200億組參數規模的大型語言模型 (LLM)，同時功耗僅為傳統GPU的1/3，意味大型語言模型將不再需要依賴昂貴且高延遲的雲端GPU運作，並且能真正落地於智慧終端裝置。 註：Mamba神經網路架構由卡內基梅隆大學和普林斯頓大學的研究人員提出、開發，是一種用於序列建模任務、基於結構化狀態空間序列 (S4)模型的深度學習架構，可用於解決目前用於多數AI運算的Transformer架構使用局限性，尤其是在處理長序列方面，能夠處理不規則採樣的資料和長上下文，並且在訓練和推理期間維持運算執行效率。 三年藍圖曝光：涵蓋安防、通用視覺與Gen AI 劉峻誠博士也在會中首度公開了耐能未來三年的晶片規劃，涵蓋高中低階全線產品： • 低功耗安防 (KL640 / KL650)：主打全時常開能力，鎖定影像安防與低耗能場景。 • 高性價比通用視覺 (KL540 / KL515)：針對網路攝影機 (IPCam)、機器視覺等大眾化終端設備。 • 新世代Gen ...

以ImageNet研究聞名、被譽為「AI教母」 (Godmother of AI)的史丹佛大學教授李飛飛 (Fei-Fei Li)，其創立僅一年的AI新創公司World Labs，近期估值已突破10億美元，正式躋身獨角獸行列。不過，這位頂尖科學家的起點並非充滿光環，在近期接受彭博新聞訪問時，李飛飛透露自己曾為了維持家計，當過長達7年的乾洗店「CEO」。 15歲移民美國，邊讀普林斯頓邊管乾洗店 李飛飛在15歲時從中國移民至美國，而當時家境並不寬裕，父母分別從事收銀員與餐廳工作。為了生存，全家在紐澤西州帕西帕尼 (Parsippany)開了一間小型乾洗店。 李飛飛笑稱自己當時是這家店的「CEO」。從18歲進入普林斯頓大學 (Princeton University) 就讀，一直到後來前往加州理工學院 (Caltech) 攻讀博士學位的初期，整整七年的時間，她都在協助經營這家店。 由於她是家中英語最好的人，舉凡接聽客戶電話、處理帳單、應對檢查等大小事務，都由她一手包辦。即便後來在加州讀博士，她仍透過遠端方式協助管理家裡的生意。 移民經歷造就科學韌性 李飛飛表示，這段經歷教會了她「韌性」 (resilience)的重要性，這也是指導她職業生涯的關鍵原則。 她指出：「作為一名科學家，你必須具備韌性，因為科學是一條非線性的旅程，而身為移民，你也會學會韌性」。她認為自己一直是个充滿好奇心的孩子，而科學成為了她好奇心的出口，讓她專注於此而非其他娛樂。 超越LLM，World Labs鎖定「空間智慧」 回到World Labs的技術佈局，李飛飛有著巨大的野心。不同於目前主流、基於語言訓練的大型語言模型 (LLM)，World Labs致力於構建「世界模型」 (World Models)。 李飛飛強調「空間智慧」 ...

Meta 首席 AI 科學家、同時也是圖靈獎得主的 Yann LeCun 宣布，將離開效力長達 12 年的 Meta，並且創立自己的人工智慧新創公司 。 Yann LeCun 表示，新公司將延續過去幾年與 Meta FAIR 實驗室及紐約大學共同推進的「先進機器智慧計畫」 (Advanced Machine Intelligence, AMI)。此舉被視為這位 AI 教父級人物，對於當前主流的大型語言模型 (LLM) 發展路線投下的最大不信任票。 唱衰 LLM 路線，轉攻具備「物理理解」的 AMI Yann ...

OpenAI宣布推出GPT-5.1版本更新，此次升級屬於GPT-5世代的重大改版，核心目標在於讓ChatGPT不僅變更聰明，在對話互動上也更具人性化。OpenAI強調，GPT-5.1將透過兩款新模型——GPT-5.1 Instant與GPT-5.1 Thinking，在智慧表現與溝通風格兩方面實現有意義的改進。 Instant導入自適應推理，Thinking反應更靈活 此次更新的兩款核心模型各有定位： • GPT-5.1 Instant：作為ChatGPT最廣泛使用的模型，新版Instant的預設語氣變得更「溫暖」 (warmer)且健談，在保持實用性的同時增添了些許玩味 (playfulness)。 更關鍵的是，它首度引入了「自適應推理」 (adaptive reasoning)機制。模型能自動判斷何時需要花費更多時間思考以應對難題，官方宣稱這使其在AIME 2025數學競賽與Codeforces程式設計評估中，取得顯著進步。 • GPT-5.1 Thinking：這是OpenAI的高階推理模型，新版本在調配思考時間上更為精確，面對簡單任務反應更迅速，處理複雜問題則更具持續性。此外，其回應內容也減少了艱澀的專業術語，將讓用戶更容易理解複雜的技術概念。 強化風格自訂：新增專業、坦率與搞怪模式 除了模型本身的智慧提升，OpenAI也大幅更新ChatGPT的個性化設定。官方推出了更直觀的控制選項，讓用戶能更輕鬆塑造AI的語氣： • 全新預設風格：除了既有的「Default」 (預設)、「Friendly」 (友善)、「Efficient」 (高效) 之外，更額外新增「Professional」 (專業)、「Candid」 (坦率)，以及「Quirky」 (搞怪) 三種風格。 • ...

Meta AI FAIR團隊稍早發表其在自動語音辨識 (ASR) 領域的最新重大成果：「Omnilingual ASR」。這是一套號稱能為超過1600種語言提供自動語音辨識能力的模型套件，其規模與品質均達業界新高。 Meta強調，此舉將透過一個通用的轉錄系統，解決ASR技術與資源過度集中在少數高資源語言的問題，讓高品質的語音轉文字技術能惠及代表性不足的語言社群，打破數位鴻溝。 導入70億規模參數wav2vec 2.0，同步開源模型與資料集 配合此次發表，Meta同步開源了一系列相關的關鍵資產 (均在Apache 2.0許可下發布)，包含： • Omnilingual ASR模型家族： 提供多種尺寸，從專為低功耗裝置設計的3億組參數的輕量級版本，到提供頂級精度的70億組參數模型。 • Omnilingual wav2vec 2.0 基礎模型： 一個擴展至70億組參數的大規模多語言語音表徵模型 (Speech Representation Model)，可作為ASR之外其他語音任務的基座。 • Omnilingual ASR Corpus (語料庫)： ...

隨著先前在beta版本加入測試，蘋果在稍早正式推出的iOS 26.1版本更新，於Apple Intelligence功能新增支援繁體中文在內8種語言，並且能在橫跨iPhone、iPad及Mac裝置使用深度整合的AI功能，包含「即時翻譯」、「書寫工具」、視覺智慧、「照片」中的「清除」功能，以及「影像樂園」等。 蘋果強調，Apple Intelligence在AI隱私保護有顯著躍進，其核心為裝置端處理 (on-device processing)，意味許多驅動Apple Intelligence的模型完全在裝置端運作。而針對需要更大模型的複雜指令，則會透過「私密雲端運算」 (Private Cloud Compute)技術，將裝置端的隱私與安全延伸至雲端，確保在雲端協同運算資料也能確保相同安全性。 「即時翻譯」支援AirPods Pro 3等裝置，「視覺智慧」可辨識畫面內容 此次更新帶來多項原本已在英文版中預覽的AI功能，並且正式支援繁體中文： • 即時翻譯 (Live Translation)： 可在「訊息」、FaceTime 與「電話」App 中無縫整合，協助使用者在選定語言間來回溝通。 搭配 AirPods Pro 3 (或 AirPods Pro 2) ...

Google宣布，先前於8月預告、專為智慧家庭裝置打造的新一代AI助理「Gemini for Home」，目前正式在美國市場啟動早期測試計畫 (Early Access)，更意味著現有的Google Assistant將開始逐步被Gemini大型語言模型 (LLM) 取代，並且解決Google Assistant功能不足、反應遲鈍等飽受批評的問題。 Google表示，預計在2026年將Gemini for Home推廣至更多國家地區，但其中是否包含台灣地區，暫時還無法確認。不過，從Google近年多數產品都會在台灣市場提供的情況來看，預期Gemini for Home應該也會加入對應台灣使用的繁體中文互動介面。 核心升級：更自然對話、深度理解指令 相較於現有Google Assistant服務，Gemini for Home的優勢在於其更強大的自然語言理解與對話能力。 • 啟動方式不變： 依然透過「OK Google」或「Hey Google」喚醒。 • 導入「Gemini Live」模式： 在說出「OK Google, let's ...

隨著生成式AI朝向輕量化、本地化發展，Meta宣布開源最新的MobileLLM-R1系列模型，將可直接在手機等裝置佈署運行，並且專注於數學、程式撰寫與科學問題的推理處理。此舉不僅回應市場對「端側AI」需求，更展現大型科技公司對提升推理能力的持續投入。 MobileLLM-R1屬於Meta MobileLLM家族的新成員，最大特色是「精簡」與「專攻」。該系列包含基礎模型 (Base)與經過監督式微調 (SFT)的最終模型兩類，參數量分別為1.4億、3.6億與9.5億，基礎模型支援4K組tokens脈絡長度，而最終模型則可擴展至32K組tokens，顯著提升複雜問題的處理能力。 Meta特別強調，MobileLLM-R1並非一般用於聊天機器人的通用語言模型，而是針對特定推理場景設計。例如數學題演算、程式撰寫 (涵蓋Python、C++等語言)，以及科學研究相關任務。 雖然其最大版本MobileLLM-R1 950M僅以不到5TB高品質資料完成訓練 (其中預先訓練資料僅2TB組token)，但表現仍相當驚豔。Meta表示，在MATH、GSM8K、MMLU、LiveCodeBench等多項評測中，MobileLLM-R1的成績超越使用36TB組訓練資料的Qwen 3 0.6B模型。 在更細緻的比較上，MobileLLM-R1 950M在MATH測試的準確率是Olmo 1.24B的五倍，同時是SmolLM 1.7B的兩倍，在程式碼生成與解題能力上同樣全面領先。 而更小的MobileLLM-R1 140M (base)也優於SmolLM2-135M，至於360M版本更以大幅差距超過Gemma-3-270M-pt與SmolLM2-360M (base)，凸顯Meta 在模型架構與訓練策略上的最佳化成果。 值得注意的是，Meta也同步透過Hugging Face託管平台開放MobileLLM-R1，並且以Apache 2.0授權形式釋出，方便開發者下載使用，可直接搭配vLLM推論引擎運行，只需將模型架構以Llama4ForCausalLM登錄到ModelRegistry，即可完成部署。對於有需求的開發者來說，意味能以更低的成本在行動裝置上建置專屬的AI應用，無需完全仰賴雲端資源。 整體來看，MobileLLM-R1代表Meta在「小而精」的AI模型策略再下一城，透過專注推理能力、降低資源需求，使得AI能夠真正貼近使用者的裝置與生活場景。隨著更多廠商推進端側AI方案，未來智慧手機、筆電，甚至IoT物聯網裝置上的AI推理能力，將能迎來新一波升級。