Pydantic AI 為既有智能體加入即時語音對話功能
Pydantic AI 加入即時語音對話支援,既有智能體可透過統一 API 連接 OpenAI Realtime、Azure OpenAI、Gemini Live 及 xAI Grok Voice。
Pydantic AI 加入即時語音對話支援,既有智能體可透過統一 API 連接 OpenAI Realtime、Azure OpenAI、Gemini Live 及 xAI Grok Voice。
Gemini API 將 Gemini 3.5 Transcribe 與 Gemini 3.5 Transcribe Live 兩款專用語音轉文字模型開放一般使用。
IBM 發佈 Granite 4.2 語言模型,提供 3B、8B 和 30B 參數版本,並加入原生逐步推理與工具調用能力,面向企業智能體工作流程。模型基於 Granite 4.0 foundation models,採多階段強化學習;8B 和 30B 版本另經 agentic RL,並以 1 trillion tokens 的合成程式碼訓練,採 Apache 2.0 授權。
Mistral AI 與 HUMAIN 宣佈戰略合作,將在沙特阿拉伯及區域內推進 AI 基礎設施、先進模型開發和 AI 解決方案部署。雙方將開發並本地化先進 AI 模型,初期聚焦網絡安全和語音,並計劃開發阿拉伯語表現出色的前沿模型;合作規模達數億歐元。Mistral AI 將探討使用 HUMAIN 的數據中心基礎設施,雙方亦計劃在沙特制定面向受監管行業的共同市場策略。
Hugging Face 的研究提出三項測試衡量語音辨識中的基準優化,並評估 11 個常用開源 ASR 模型,發現多個模型會重現與音訊不符的基準文本。研究在所分析的 VoxPopuli 測試片段中標記出 40% 的潛在參考文本錯誤,涉及約 3% 的參考詞;呈現基準優化行為的模型在相關測試中有 18–30% 的情況會重現錯誤參考文本。
Soundcore 推出 Liberty 5 Pro MAX,主打 AI 錄音與會議摘要,充電盒配備 1.78 吋 AMOLED 彩色觸控螢幕,可切換 ANC 模式和調整 EQ。充電盒可獨立錄音,並同步至手機 App 將語音轉為文字及整理重點。耳機售價 $1,780,支援 Hi-Res Audio Wireless、LDAC、Dolby Atmos 及 Adaptive ANC 4.0。
Google Assistant 將於 2026年9月在流動裝置上退場,全面轉用 Gemini。轉變將規則式指令處理改為自回歸大型語言模型推理,支援含糊表達、上下文任務及讀取畫面內容,但回應時間可能增加。裝置端 Gemini Nano 有助降低延遲及保護私隱,但穩定運行需要足夠硬件效能。
Sarvam 與 AI4Bharat 建立 Indic DiarBench,這是一個涵蓋印度憲法列定全部 22 種語言、聯合評估語音識別與説話人分段的開放基準數據集。數據集包含 108 小時自然即興語音,每段錄音有 2–9 名説話者,並涵蓋重疊發言、近場及遠場會議,以及 YouTube 真實對話。轉錄文本和帶説話人歸屬的時間戳均經人工核驗。
NVIDIA Magpie Multilingual TTS 最新版本擴展至 12 種語言,是一款 364M 參數、開放權重的語音合成模型,可部署於自有基礎設施並按工作負載調校。
Sarvam AI 在 Sarvam Epoch 公佈 Sarvam 105B 的對話及工作智能體版本,並介紹 Sarvam Vision 2.0、Saaras V4 和研究預覽版 Bulbul V4。
OpenAI 用六個月構建 GPT-Live 即時語音系統,支援與 AI 持續進行語音互動。系統採用無需輪次切換的語音模型和低延遲架構,以實現更快、更自然的對話。
Google DeepMind 今日在 Google Flow Music 推出音樂生成模型 Lyria 3.5,並提升旋律、歌詞及人聲生成品質。它可生成更豐富、複雜且自然的旋律結構,並改善歌詞的提示詞遵循度與結構意識,以及人聲的真實感、情感細膩度和發音。使用者也可更容易控制生成內容的節奏和時長。
Fano 與 Thomson Reuters 合辦午宴,邀請逾 20 位合規、風險及銀行業領袖,探討如何在銀行業以可信、可控的方式部署語音 AI。與會者亦討論 AI 在合規及防詐中的應用,以及治理、信任和控制如何影響合規方案從試點走向正式部署。
FunAudioLLM 是 Alibaba Group Tongyi Speech Lab 的開源語音理解與生成模型項目。項目提供各子項目的示範首頁,列有 SenseVoice、CosyVoice、CosyVoice2.0、MinMo、InspireMusic、Fun-ASR 及 Fun-Audio-Chat。
OpenAI 在 ChatGPT 桌面應用程式 26.715 版加入本地專案多資料夾支援,並加入可在 Chat、Work、Codex 使用的 ChatGPT Voice。
Cars24 使用 OpenAI 驅動的語音與聊天智能體,每月處理 1M+ 分鐘對話,並挽回 12% 流失潛在客户。公司亦將智能體工作流程推廣至各團隊,藉助 OpenAI 加快構建。
Real World VoiceEQ 是一套衡量語音 AI 真人互動品質的新基準,評估 40+ 款專有及開源語音模型,涵蓋 15+ 個評測維度和 60+ 項指標。基準以超過 1 million 次人工評分建立,評測範圍包括 ASR、TTS、S2S 和 Speech Understanding。結果顯示,各模型能力各有側重,而傳統基準可能高估模型在真實對話中的表現。
Mercury 2 是 Inception Labs 推出的擴散式推理語言模型,官方稱其在標準 NVIDIA GPU 上解碼速度達 1,000+ tokens/second,300-token 推理鏈完成時間不到 300ms。
OpenAI 發佈新一代語音模型 GPT-Live,採用全雙工架構,讓 ChatGPT Voice 可同時聆聽和發話,令即時對話更自然。遇到複雜處理、高階推理或網頁搜尋需求時,GPT-Live 會在背景委派予最新頂尖模型,並逐步將結果帶入對話;本次推出 GPT-Live-1 和 GPT-Live-1 mini。
推薦理由:文章比較級聯語音系統與 ChatGPT Advanced Voice Mode 的限制,並交代全雙工架構如何帶來即時回應及背景任務處理。
OpenAI 介紹 GPT-Live,將其定位為面向自然人機互動的新一代語音模型,並稱其現正為 ChatGPT Voice 提供支援。
Hugging Face 與 Treble Technologies 推出並開放提交 FFASR Leaderboard,這是針對真實遠場聲學條件的開放、社羣協作 ASR 評測基準。
Ubuntu 啟動 Project “Myna” 語音轉文字項目,計劃在 Ubuntu 26.10 提供桌面語音文字輸入;目前尚未公開實作,正徵求設計意見。項目預計支援離線運作,並透過 Canonical Inference Snap 進行本機推理,初期依賴 IBus。Ubuntu 亦正測試遷移至 dbus-broker,測試涵蓋 Ubuntu 26.10 和 26.04。
LlamaIndex Readers 的 FunASR 整合可將音訊轉錄為 LlamaIndex Document,使用 SenseVoice、Paraformer 或 Fun-ASR-Nano 在本機執行語音轉文字,毋須雲端 API。它擅長中文及 50+ 種語言,內置 VAD 可處理任何長度的音訊。
QwenAudio/funasr-haystack 儲存庫由擁有人於 Jun 17, 2026 封存,現已設為唯讀。GitHub 頁面顯示,該儲存庫沒有內容。
Gemini API 現已支援 gemini-3.1-flash-tts-preview 模型進行語音生成串流輸出。可透過 streamGenerateContent,或在 Interactions API 使用 stream: true 啟用串流。
SGLang-Omni 宣佈為 MOSS-TTS-Local-Transformer-v1.5 提供端到端服務,採用預處理、TTS 引擎及聲碼器三階段流程,支援原生串流 48 kHz 立體聲語音。
MOSS-Audio-Tokenizer 是基於 Cat 架構的統一離散音訊 tokenizer,具備 1.6 billion 參數,可將 24kHz 原始音訊壓縮至 12.5Hz 幀率,並支援 0.125kbps 至 4kbps 的重建。模型以 3 million hours 多元音訊資料訓練,兼顧高保真重建與語義對齊,適用於語音理解及生成等下游任務。ીએમ
Ubuntu 26.10(Stonking)公佈開發路線圖,列出以 28.04 LTS 為目標的四項願景:以 GNOME 為基礎的平台、預設簡潔而設計靈活、情境感知桌面,以及可信賴的整合平台。情境感知桌面將結合應用程式、服務及桌面環境的資訊,協助用戶達成目標。Ubuntu 26.10 將加入語音文字輸入功能,語音操作則以離線運作為方向。
Fano 以講者及參展商身份參與 NetCraft Week 2026,分享智能體語音 AI 平台如何協助企業由語音互動邁向可信行動。平台涵蓋多語言語音識別、智能體對話協調、即時智能體輔助、語音分析、合規監察及工作流程自動化。
Google DeepMind 發佈 Gemini 3.5 Live Translate,這款音訊模型可自動識別 70+ 種語言,並進行近乎即時的語音轉語音翻譯。
推薦理由:模型以連續生成譯語音訊取代逐輪等待,並透過 API、Google Meet 和 Google Translate 進入開發、企業會議及日常翻譯場景,呈現其部署路徑。
Boson AI 與 SGLang-Omni 團隊宣佈,Higgs Audio v3 TTS 已可在 SGLang-Omni 上端到端提供服務,支援串流生成,以及從文字控制情緒、風格、韻律和音效。
FireRedTeam 發佈 FireRedASR2S,整合語音辨識、語音活動檢測、語言識別和標點預測四個模組。FireRedASR2-LLM 在 4 個普通話測試集的平均 CER 為 2.89%,在 19 個方言及口音測試集為 11.55%。
Mario Zechner 將以 10 euros 買入的 Silverlit YCOO NEO OCTOBOT 改造成可語音互動、向前行走和轉動頭部的 AI 玩具機械人。
CosyVoice 項目提供 Fun-CosyVoice 3.0,這是一套基於大語言模型的文字轉語音系統,面向自然場景的零樣本多語言語音合成。系統覆蓋 9 種常見語言及 18+ 種中文方言/口音,並支援多語言及跨語言零樣本聲音複製。它支援雙向串流,延遲最低為 150ms;項目亦提供模型下載、安裝、推理及部署説明。
Descript 公佈 Telethon 啟動及多項產品更新,涵蓋 Underlord、檔案格式、工作區介面、轉錄、圖像生成和 API。Underlord 可在請求中附加檔案、場景、時間戳或圖層,保留按用戶和項目區分的聊天記錄,並在每輪編輯後自動檢查改動。
Fano Connect+ 2026 BFSI Edition 聚集來自 30 多間銀行、保險公司及金融服務機構的 50 多名業界人士,探討企業如何把 AI 從實驗推進至可信賴的實際部署。討論聚焦受規管行業的 Agentic AI、治理、合規、營運韌性、防詐及客戶信任,並涵蓋 Voice AI、語音詐騙與 deepfake 防護,以及合規和風險監察的應用。
OpenMOSS/sglang 為 MOSS-Audio、MOSS-TTS (Delay)、MOSS-SoundEffect 及 MOSS-TTSD v1.0、v0.7 提供 SGLang 支援。單併發端到端吞吐量在 RTX 4090 上測得:MOSS-TTS (Delay) 為 45 token/s,MOSS-TTSD v1.0 為 43.5 token/s。
Parloa 利用 OpenAI 模型驅動可擴展、語音驅動的 AI 客户服務智能體,讓企業能設計、模擬並部署可靠的即時互動。
OpenAI 在 API 推出新的即時語音模型,可對語音進行推理、翻譯和轉錄。這些模型旨在支援更自然、智能的語音體驗。
OpenMOSS 於 2026.4.14 發佈 MOSS-TTS-Nano Reader,這是一款基於 MOSS-TTS-Nano 的本地網頁朗讀工具。專案提供瀏覽器 ONNX 載入方式,也可啟動本機推理服務;工具支援純 CPU 推理、Chrome 和 Edge 擴充功能及自訂語音,MOSS-TTS-Nano 目前支援 20 種語言。