Uber 藉助 OpenAI 助司機更精明地賺取收入、乘客更快預訂
Uber 藉助 OpenAI 為全球即時市場提供 AI 助手及語音功能,協助司機更精明地賺取收入,並讓乘客更快預訂。
Uber 藉助 OpenAI 為全球即時市場提供 AI 助手及語音功能,協助司機更精明地賺取收入,並讓乘客更快預訂。
Hugging Face 為 Open ASR Leaderboard 加入 Appen Inc. 和 DataoceanAI 提供的私有英語 ASR 評測資料集,涵蓋多種口音及朗讀式、對話式語音。
OpenAI 重建 WebRTC 技術堆疊,為即時語音 AI 提供低延遲及全球規模支援,並支援流暢的對話輪替。
OpenMOSS/mlx-audio 是基於 Apple MLX、面向 Apple Silicon 的音訊處理工具庫,支援文字轉語音(TTS)、語音轉文字(STT)及語音轉語音(STS)。
Google 於 2026 年 4 月 15 日推出文字轉語音模型 Gemini 3.1 Flash TTS,提升生成音訊的品質與表現力,並加強語音控制能力。模型提供 30 種語音選項,支援 70 多種語言;新加入的 Audio Tags 可透過文字指令設定語音風格、説話方式及節奏。
Google DeepMind 發佈 Gemini 3.1 Flash TTS,提升文字轉語音的可控性、表現力與品質,並加入音訊標籤細調語音表現。模型支援 70+ 種語言及原生多説話者對話,在 Artificial Analysis TTS leaderboard 的 Elo 分數為 1,211。
推薦理由:文章聚焦音訊標籤如何細調語氣、節奏與表達,並列出 Gemini 3.1 Flash TTS 面向開發者、企業及 Workspace 用户的推出渠道。
Gemini API 推出 Gemini 3.1 Flash TTS Preview,這是一款具成本效益、富表現力且可操控的文字轉語音模型。相關文字轉語音文件可供查閲。
美團 LongCat 發佈 LongCat-AudioDiT,這款非自回歸擴散式文字轉語音模型直接在波形潛在空間運作,提供 1B 和 3.5B 版本。作者報告,3.5B 版本在 Seed-ZH 和 Seed-Hard 的 SIM 分數分別為 0.818 和 0.797,較文中所述先前 Seed-TTS 的 0.809 和 0.776 高。
美團 LongCat 發佈 LongCat-AudioDiT-3.5B,這款非自回歸擴散式文字轉語音模型直接在波形潛在空間運作。在 Seed 基準上,LongCat-AudioDiT-3.5B 的 Seed-ZH 與 Seed-Hard 説話人相似度(SIM)分別為 0.818 和 0.797。
Sarvam AI 介紹印度語言 ASR 的分層評測方法,涵蓋 WER/CER、LLM-WER/LLM-CER、Intent Score、Entity Preservation Score 和 COMET。文中亦介紹兩個適用於任何 Indic ASR 系統的開源評測框架,均使用經 Google Vertex AI 呼叫的 Gemini 作為 LLM 評審。
rabbit r1 透過更新提升實用性,magic recorder 加強語境理解和自動摘要,並可識別説話者、整理會議內容及擷取待辦任務。DLAM 讓裝置識別電腦桌面並代用戶操作複雜軟件。rabbit OS 以 AOSP 為基礎,並在其上構建專屬的 AI 執行環境。
Google 於 2026 年 3 月 26 日發佈音訊及語音模型 Gemini 3.1 Flash Live,提升即時對話的語音理解和函數調用能力,並兼顧音質與速度。
推薦理由:文章把語音理解改進、基準測試表現與 Search Live 擴展至 200 多個國家和地區並列,呈現模型能力如何進入 Google 產品服務。
Google DeepMind 推出 Gemini 3.1 Flash Live,提升即時語音對話的精準度並降低延遲。它在 ComplexFuncBench Audio 得分 90.8%,在 Scale AI 的 Audio MultiChallenge 開啟 thinking 時得分 36.1%。
推薦理由:原文以兩項語音基準呈現多步函數調用與複雜指令跟隨表現,並列出開發者、企業及一般用户的使用入口,可對照其能力與部署場景。
Google 發佈 gemini-3.1-flash-live-preview,這是一款面向即時對話及語音優先 AI 應用的音訊到音訊(A2A)模型。如要開始使用,可參閲 Live API 文件。
Fun-CineForge 開源面向多元電影場景的零樣本配音數據集流程及模型,並以此建立大型中文電視配音數據集 CineDub-CN,收錄豐富標註及多元場景。模型在獨白、旁白、對話及多説話者場景中,於音質、唇形同步、音色轉換和指令遵循方面持續優於現有先進方法。reW
Mistral AI 發佈 4B 參數的 Voxtral TTS,支援 9 種語言語音生成。在典型的 10 秒語音樣本和 500 characters 輸入下,模型延遲為 70ms;人評顯示其自然度高於 ElevenLabs Flash v2.5,TTFA 相近。
推薦理由:原文以人評比較 Voxtral TTS 與 ElevenLabs Flash v2.5 的自然度和 TTFA,並列出模型延遲及 API 定價,提供評估語音智能體應用的具體依據。
Descript 更新色彩調整工具,並把圖片及影片生成整合至同一面板。更新亦改善 Underlord 專案連結、翻譯影片的唇形同步及 Regenerate 音訊自然度,並支援直接匯出 Scenes。上載至 Drive Media Library 的音訊或影片會自動轉錄,逐字稿會與媒體庫檔案一同儲存。
OpenMOSS/TTSD-eval 提供多説話人對話生成的客觀評測流程,以説話人歸屬準確率(ACC)和説話人相似度(SIM)為核心指標。WER 作為評估可理解度的補充指標,數值愈低愈好;測試集設有中文和英文子集,每種語言各含 50 段對話樣本。流程使用 MMS-FA 對齊輸入文字與生成音訊,並以輸入稿的説話人標籤核對預測結果。
AI 技術正推動虛擬歌手成為平台化創作工具及 IP 載體,並改變音樂、影視和內容創作模式。中國 AI 虛擬歌手 Yuri 的英文歌曲「Surreal」在全球串流平台累積超過 700 萬次播放;其唇形同步技術由 ByteDance 的 Jimeng OmniHuman 開發,可從單張照片和一首歌自動生成逼真的演唱影片。
AI 正把虛擬歌手由單一角色轉變為創作工具與 IP 載體,並重塑音樂、電影、電視及內容創作。中國 AI 虛擬歌手 Yuri 的英文歌曲《Surreal》在全球串流平台累積逾 700 萬次播放;Jimeng OmniHuman 可根據一張相片和一首歌曲自動生成寫實演唱影片。相關技術降低創作門檻,同時引發聲音權利、肖像權及 AI 合成內容標示等爭議。
Google Research 推出 WAXAL 開放語音資料集,首批涵蓋 27 種撒哈拉以南非洲語言,這些語言由超過 100 million 人使用。資料包含約 1,846 小時已轉錄的自然語音 ASR 數據,以及超過 565 小時高保真 TTS 錄音,採用 CC-BY-4.0 授權開放。資料收集由非洲學術及社區組織主導,Google 表示計劃持續擴充語言範圍。
推薦理由:WAXAL 將自然口語 ASR 與高保真 TTS 語料以 CC-BY-4.0 授權開放,呈現支援低資源語言語音技術所需的資料建置基礎。
InnoHK博智感知交互研究中心與港台連續第三年合作,為財政司司長財政預算案演辭直播提供「實時自動生成字幕撮要技術」支援。系統可即時轉錄、翻譯演辭並生成持續更新的撮要,支援廣東話、英語及普通話切換。今年優化撮要重點生成並引入自動評估指標,以提升相關性及準確度,另支援自訂關鍵詞的大語言模型(LLM)翻譯。
MOSS-Speech 實現無需文字引導的端到端語音對語音互動,可直接生成語音而毋須先產生文字。模型以 Qwen3-8B 為基礎,採用模態分層架構及凍結式預訓練策略,在擴展語音模態時保留 LLM 能力。程式碼採用 Apache 2.0 授權;MOSS-Speech-Base 則列為後續發布項目。
Mistral AI 發佈 Voxtral Transcribe 2,包含用於批次轉寫的 Voxtral Mini Transcribe V2,以及面向即時應用的 Voxtral Realtime。
推薦理由:批次版與即時版的定位和能力差異清晰,文章亦列出即時轉寫的延遲設定、開放權重授權及兩款模型的 API 價格,便於比較部署選項。
ServiceNow 擴大對 OpenAI 前沿模型的存取,藉此支援 ServiceNow Platform 上的 AI 驅動企業功能。支援範圍包括企業工作流程、摘要、搜尋及語音。
Google 發佈開放醫療多模態模型 MedGemma 1.5 4B,新增 CT、MRI、病理全切片及胸部 X 光時間序列等醫療影像處理能力。其基準結果較 MedGemma 1 4B 提升,例如 CT 疾病分類準確率為 61%(58%),MRI 為 65%(51%),醫療文本 EHRQA 為 90%(68%)。
推薦理由:MedGemma 1.5 4B 在多項醫療影像與文本基準上較前代提升,文中列出的具體分數可用來比較不同任務的改進幅度。
Manus 推出 Meeting Minutes,可把面對面會議、訪談或獨白轉成含要點、與會者和待辦事項的結構化筆記。錄音期間會即時轉錄並識別説話者;筆記亦可作為同一任務的上下文,用於製作簡報、網站或社交媒體素材,並邀請他人協作。該功能現已向所有 Manus 用户開放,不適用於線上會議;錄音免費,分析及生成筆記會消耗積分。
Tolan 以 GPT-5.1 打造語音優先的 AI 伴侶,結合低延遲回應、即時情境重建與記憶驅動的人格,帶來自然對話體驗。
Together AI 現已原生提供 MiniMax Speech 2.6 Turbo,讓語音生成可與 LLM 及 STT 工作負載在同一平台運行。模型支援 40 多種語言的串流語言切換、10 秒語音克隆,並在 Together AI 專用端點上達到低於 250ms 的延遲。
Rime 將 Arcana v2 和 Mist v2 加入 Together Model Library,讓用戶可透過 Together AI 使用專有 TTS 模型。
Google DeepMind 更新 Gemini 2.5 Flash Native Audio,提升其處理複雜工作流、遵循指令及進行多輪語音對話的能力。它在 ComplexFuncBench Audio 得分為 71.5%,開發者指令遵循率由 84% 升至 90%;目前已在 Vertex AI 正式提供,並以預覽版開放 Gemini API。
推薦理由:更新同時改善即時語音 Agent 的函數調用、指令遵循與多輪對話,並以 ComplexFuncBench Audio 的 71.5% 得分呈現多步函數調用表現。
gemini-2.5-flash-native-audio-preview-12-2025 已作為 Live API 的新原生音訊模型推出。這次更新提升了模型處理複雜工作流程的能力。
Gemini API 為 Gemini 2.5 Flash TTS 預覽版及 Gemini 2.5 Pro TTS 預覽版推出文字轉語音模型優化,前者針對低延遲,後者針對品質。更新包括提升表達力、精準節奏控制及流暢對話。
Google Research 推出 Massive Sound Embedding Benchmark(MSEB),以統一框架評估八項機器聽覺能力。基準涵蓋語義與聲學任務,並可評估不同類型的模型;初步實驗顯示,現有聲音表徵在八項任務上仍有明顯提升空間。
Google Research 介紹端到端即時語音到語音翻譯模型,以原説話者聲線輸出譯音,標準延遲為 2 秒。模型採用串流架構及時間同步訓練資料,支援英語與西班牙語、德語、法語、意大利語、葡萄牙語之間的雙向翻譯。相關功能已在 Google Meet 伺服器端提供,並作為 Pixel 10 的內置裝置端功能推出;Pixel Voice Translate 採用級聯式流程以擴大語言覆蓋。
推薦理由:文章説明串流架構如何配合時間同步訓練資料,把語音互譯的標準延遲控制在 2 秒,並以原説話者聲線輸出譯音,可瞭解低延遲與個人化如何結合。
Seed-VC 可用任意數量的音訊檔案訓練,以提升生成聲音與參考音訊的相似度;作者以「つくよみちゃんコーパス」的100個音檔示範流程。文章涵蓋 V2 訓練、即時轉換和 CLI 操作,並指出訓練基本需要 8GiB 以上 VRAM 的 GPU。採用+12dB增幅及高音域削減素材後,轉換聲音較低沉,但風格轉換產生了無意義語音。
文章示範在 Ubuntu 上安裝及使用 Seed-VC,無需事前訓練即可按參照音訊轉換輸入語音。作者以 Ubuntu 25.10 和 RTX A1000 8GiB 實測,介紹 Web UI 與即時 GUI;使用 GPU 時,轉換速度約接近即時。
Together AI 擴展雲端語音基礎設施,新增即時串流轉錄、文字轉語音及批次音訊轉錄能力,供語音智能體使用。Streaming Whisper 的轉錄速度比替代方案快至 35%;Orpheus TTS 平均 TTFB 為 187ms,Kokoro TTS 基線 TTFB 為 97ms。
Hugging Face Blog 提出語音複製「同意閘門」設計並提供示例 Space 和程式碼,系統需先確認説話者已明確同意才會啟動。示例會為每次同意生成一組新句子,分別表達明確同意及補充語音的音素多樣性,並以語音識別確認同意語句。作者指出,仍可能有人用另一個 TTS 系統生成相符語句,並列出音訊來源驗證、説話者嵌入向量相似度及即時錄音 metadata 作為可探索方向。
推薦理由:把每次生成的同意語句與語音辨識綁定,並以同一段錄音作複製輸入,展示了將知情同意設為工作流程前置條件的實作思路。
FireRedTeam 為 FireRedTTS-2 發佈完整微調程式碼及教學,示例以 LJSpeech 數據集為基礎。團隊表示,該系統支援多語言和零樣本聲音克隆,使用對話數據微調可生成與示範相若的播客內容。