在過去未能以Cortana順利打開數位助理市場的十年後，微軟正在藉由Copilot AI助理在Windows 11中重新挑戰語音指令功能。微軟從即日起開始推送Copilot語音與視覺功能的升級，讓用戶能夠直接說出「Hey, Copilot」，並且根據螢幕內容提出問題，試圖實現如同《星艦迷航記》中艦載電腦般的便利體驗。
從螢幕內容理解到實際行動
這項新功能讓Copilot能夠真正「看見」用戶的螢幕內容。舉例來說，當用戶正在瀏覽夏威夷的照片時，可以直接詢問Windows 11這些照片的具體拍攝地點，要求規劃航班行程，甚至獲得預算建議。
在微軟的宣傳影片中，用戶只需要求Copilot展示如何以「最佳品質」串流音樂，AI就能立即標示出Spotify中的相關設定位置，並建議選擇無損音質選項。
與過去的語音助理不同，Copilot不僅能進行網路搜尋或生成AI藝術作品，更能協助用戶輕鬆完成實際任務。微軟的目標是讓Copilot具備執行Windows任務的能力，這正是實驗性功能「Copilot Actions」的開發初衷。
隱私疑慮與安全措施
不過，「Hey Copilot」功能與所有Copilot視覺功能均基於雲端運算，意味用戶的桌面圖像資料將被傳送至微軟伺服器。這需要一定程度的信任，而微軟在先前Recall功能混亂的情況下，已經在許多用戶心中失去部分信任。
為消除疑慮，微軟強調「Hey, Copilot」是完全選擇加入的功能，深藏在Copilot應用程式設定中。同樣地，Copilot Actions也是選擇性功能，用戶可以在Copilot應用程式中逐步查看所有操作過程，並隨時接管任務。
Copilot Actions：AI助理的進化
Copilot Actions最初是作為在網站上執行任務的工具推出，現在已擴展到能夠處理手動任務，例如調整和校正資料夾中的照片尺寸。當問題出現時，它會在Copilot應用程式中提示用戶回答。更重要的是，當Copilot Actions在背景處理工作時，用戶可以自由進行其他電腦操作。
微軟表示已對Copilot Actions進行「廣泛」內部測試，並將逐步推出該功能以收集回饋。所有任務都在受控環境中執行，允許更精細的權限控制和運行時隔離，確保Copilot不會超出特定任務範圍影響系統其他部分。
全面整合的Copilot體驗
除了語音功能外，微軟還計劃在Windows 11任務欄上添加「Ask Copilot」搜尋功能，標榜此功能是將任務欄打造成完成任務的「動態中心」的一部分。與其他新功能一樣，Ask Copilot工具列也將完全由用戶選擇是否啟用。
同時，微軟正在擴展內建於Windows 11的AI行動，包括與Manus的新整合（該AI代理能將多個文件轉換為網站），以及Filmora的整合（讓用戶可以直接從檔案總管創建AI影片）。
對於至今對微軟Copilot計劃持懷疑態度的人來說，如果「Hey, Copilot」能如廣告所述正常運作，確實具有實際使用價值。
新的「Hey, Copilot」，以及Copilot視覺功能即日起在所有可存取Copilot的Windows 11 PC上提供。根據微軟說法，Copilot Actions和Ask Copilot任務欄功能將「逐步」提供給Windows 11 Insiders計畫成員。
