Cartesia 的語音 AI 術語入門指南
Cartesia 的入門指南梳理語音 AI 的核心術語,涵蓋 STT、VAD、輪次檢測、TTS、對話功能、聲音特徵及效能指標。文中指出,Ink-2 將輪次檢測整合在模型內;Sonic 3 的 TTFB 為 40ms 至 90ms。
Cartesia 的入門指南梳理語音 AI 的核心術語,涵蓋 STT、VAD、輪次檢測、TTS、對話功能、聲音特徵及效能指標。文中指出,Ink-2 將輪次檢測整合在模型內;Sonic 3 的 TTFB 為 40ms 至 90ms。
Cartesia 發佈企業語音 AI 模型選擇指南,建議按真實通話場景而非只依賴實驗室基準評估模型。文中主張重視端到端 TTFS、回合偵測及按輸入類別衡量的 WER,而非只看首 token 延遲和單一平均 WER。其評估框架建議以 50 通真實客戶電話測試供應商,並為各流程環節設定延遲預算。
Cartesia 推出面向即時語音智能體的語音轉文字模型 Ink-2;截至 2026 年 6 月,Ink-2 在 Artificial Analysis 串流排行榜以最低詞錯誤率排名第一。
Cartesia 指出,TTS 模型的質素不能只看字詞是否正確,還取決於語境準確度、自然度、穩定性,以及模型是否符合實際使用情境。文章比較 WER、DNSMOS、NISQA、UTMOS 等自動評分與人類聆聽測試的限制;一個日語音調例子中,人工評分下降 1.84 MOS 分,而各自動模型的變化均少於 0.1。
Cartesia 為 Ink-2 推出關鍵詞提示和可配置輪次偵測,兩項功能現已向所有 Ink-2 用戶開放。關鍵詞提示可透過 `keyterm` 查詢參數輸入最多 100 個關鍵詞(合計 1,200 個字符),而 Cartesia 在 Earnings22 評估中的關鍵詞召回率為 93.8%。輪次偵測可在建立連線時或通話期間調整,以選擇較低延遲或較高端點判定準確度。
Cartesia 推出語音模型 Sonic-3.6,稱其在涵蓋 15 個語區的盲測中,聽眾偏好率最高達 93%。美國英語盲測中,聽眾有 92% 選擇 Sonic-3.6 而非 Eleven v3,母語者評審亦在所有受測核心語言中偏好 Sonic-3.6。
Cartesia 説明,Voice AI 評估應按各項檢測事件分別報告精確率(precision)和召回率(recall),不能只依賴 accuracy。文章以 VAD、turn_start 和 turn_end 為例,指出應先界定目標事件及誤報、漏報,再按錯誤成本選擇指標和閾值。
TTS 模型負責生成語音,聲音則是塑造輸出的輸入;區分兩者有助判斷語音智能體的問題出在模型還是聲音。固定説話者模型只接受文字稿,多説話者模型可選擇預設聲音,零樣本聲音克隆則以文字稿和參考音訊生成指定説話者的語音。Cartesia Instant Voice Cloning 以 10 to 60 seconds 的音訊作提示,專業聲音克隆則用較大的錄音數據集微調模型。
QwenAudio/FunResearch 項目頁列出 Agentic-GER、DuplexKWS、ECoM-Reasoning、FineAudio-Judge 等語音項目。頁面亦列有 Apache-2.0 授權。
華碩 ROG 為降臨 OWS(Cetra Open Wireless)開放式電競耳機新增「暮粉」(Dusk Pink)配色,黑色原版目前到手價為 1199 元。耳機配備 14.2mm 類鑽碳(DLC)驅動單元及具 AI 降噪技術的 4 麥克風陣列,支援雙模無線連接,總播放時間可達 64hr。
Sierra 推出 fleming-1,分析通話語音並標示可能由 AI 智能體發起的來電。Sierra 亦與業界夥伴共同開發開放標準 Personal Agent Protocol,讓個人智能體以直接、獲授權的方式與企業互動,並表明代表誰行事。fleming-1 即時評分語音中的 AI 生成跡象,預設採保守設定,並適用於任何以 Sierra 建構的語音智能體,啟用即可使用。
字節 Seed 發佈音訊創作模型 Seed Audio 1.0,透過統一框架聯合建模人聲、音效及環境聲,生成完整聲音場景。模型支援 100ms 間隔精度的時間控制、參考音訊延展生成(單次可生成約 2 分鐘並可繼續延長),以及 20+ 語種。
字節 Seed 正式推出 SeedRealtime 音訊與影片全雙工大模型,透過統一架構原生融合音訊、影片與文字,支援連續多模態資訊流上的即時互動。端到端人工評測結果顯示,相比級聯模型,SeedRealtime 的音訊與影片對話節奏問題減少一半,單次對話順暢、完整交流的機率亦明顯提升。
ElevenLabs 已接入 OpenRouter,提供 9 款文字轉語音及 2 款語音轉文字模型,均可用 OpenRouter API key 調用,毋須另購 ElevenLabs 方案。
Preferred Networks(PFN)推出 PLaMo™翻訳大型更新版,支援語言由日英擴至53種,並正式推出支援15種語言的線上會議即時轉錄及翻譯。
HiPLEX 提出一種強化學習框架,將預訓練的全雙工文字策略分解為控制策略與條件式內容策略,分別決定何時輸出內容及輸出甚麼。Full-Duplex-Bench v1 上的 Moshi 三個隨機種子測試顯示,HiPLEX 相較 GRPO 降低自然停頓及回應機會中的搶話率,並縮短受打斷後的回應延遲,同時維持相若的評審中斷回應品質。
一種面向裝置端級聯語音智能體的推測式工具執行方法,會根據部分 ASR 假設預測工具呼叫,並在用戶仍在説話時啟動執行,以降低端到端回應延遲。在完整實作的 Android 語音助理實測中,首次音訊輸出的中位時間由 5.79 秒降至 4.60 秒,標準差由 3.49 秒降至 2.81 秒。
PawCT 是端到端神經網絡框架,可從合唱音訊中識別活躍的 SATB 聲部,並將各聲部轉錄為獨立音符軌道。在 YouChorale 上,PawCT-RP-OC 的聲部感知音符 F1 分數為 0.225,較合唱基線的 0.165 高 36.4%。不區分聲部的 PagCT 取得 0.382 的 50 毫秒起音 F1,高於先前模型的 0.237。
Sierra 在 Sierra Summit 2026 分享協助企業應對 AI 挑戰的方案,並宣佈推出 Curie 和 Fleming 兩款新模型。Curie 負責對話協調,Fleming 可識別來電者是否為另一個 Agent。Persona Studio 可讓用戶上載語音樣本並調整 Agent 個性;一間大型訂閲業務部署 Voice Personas 後,問題解決率提升逾 50%。
Amazon Alexa Plus 出現故障,部分 Amazon Echo 智能家居揚聲器會連續數分鐘只重複説或唱「lalala」,有時在與用戶對話期間發生。Amazon 表示,問題影響少數 Alexa Plus 用戶,並正着手修復。
AWS 教程示範如何在航空應用程式中,以 Amazon Bedrock AgentCore、Amazon Bedrock Knowledge Bases 和 Amazon Nova 2.5 Sonic 建立語音旅遊禮賓服務。
亞馬遜確認 Alexa Plus 語音助手出現故障,部分用戶與 Alexa 對話時,Echo 音箱會卡住並連續哼唱「啦啦啦」數分鐘。問題涉及多種 Echo 型號,影響少量 Alexa Plus 用戶;亞馬遜表示正研究解決方案。
意大利總理焦爾吉婭·梅洛尼向歐盟知識產權局提交申請,擬將自己的聲音註冊為商標,以防範 AI 生成的深度偽造內容。申請日期為 10 月 5 日,材料附有一段 4 秒錄音,梅洛尼以意大利語重複説出自己的姓名兩次。申請仍在審核;報道指出,即使獲批,商標也不能完全阻止他人製作其 AI 深度偽造音訊,但可增加造假者面對的法律障礙。
ElevenLabs Blog 第 2 頁收錄 9 月 23 日至 10 月 5 日刊出的文章,涵蓋 Eleven v4、語音智能體、轉錄及 API 等主題。內容亦包括 Eleven v4 Turbo 現已可在 ElevenAgents 使用,以及 ElevenLabs 在荷蘭和比利時推出服務的消息。
ElevenLabs 與烏克蘭政府簽署諒解備忘錄,合作推動 AI 公共服務由概念走向部署。教育部團隊正開發 Mriia 個人化 AI 導師應用程式,經濟部則把智能體整合至 Obriy,醫療領域運用語音技術減少行政工作。烏克蘭數碼轉型部計劃於 2030 年前成為 AI 公共服務應用的領先者,並以 Diia.AI 踏出第一步;該平台是全球首個公共服務智能體應用程式及平台。
Harvey 與 ElevenLabs 合作,為法律界打造全球化多語語音能力,讓 Harvey 能以數十種語言、方言或口音自然溝通。合作以 ElevenLabs 的 Text to Speech 和 Speech to Text 為基礎,首階段讓 Harvey 幾乎可用任何語言或方言以語音提供答案。
ElevenLabs 發佈 Scribe v2 Realtime,即時語音轉文字模型可在低於 150 ms 內轉錄語音,面向語音智能體、會議助理及即時字幕等場景。
Matthew McConaughey 已投資 ElevenLabs 數年,並將以創作者身份把電子通訊 Lyrics of Livin’ 擴展至由 ElevenLabs 支援的西班牙語版本。相關故事和內容將以他的聲音提供西班牙語音訊,觸及更廣泛受眾。
MasterClass 與 ElevenLabs 合作,讓用戶可在 MasterClass On Call 與 Gordon Ramsay、Mark Cuban 等講師的 AI 版本進行即時語音對話。
ElevenLabs 推出 Scribe v2,面向大規模批量轉錄、字幕製作及字幕生成,並提升對長篇、複雜錄音的處理穩定性與準確度。Scribe v2 在業界標準基準測試中錄得最低詞錯誤率,支援最多 100 個詞語或短語的關鍵詞提示,以及涵蓋最多 56 個類別、附精確時間戳的實體偵測。
Audi Revolut F1 Team 與 ElevenLabs 合作探索 AI 音訊及語音生成技術,期望支援車隊溝通和連繫全球車迷。雙方正探討相關技術如何支援賽道上的車隊,並透過數碼平台和體驗,讓世界各地車迷以新形式體驗及連繫這項運動。
ElevenLabs 的 Eleven v3 文字轉語音模型已結束 Alpha 階段,現已在所有平台正式提供。內部基準涵蓋 8 種語言、27 個類別,模型錯誤率由 15.3% 降至 4.9%,減少 68%。測試中,用戶有 72% 的情況偏好新版本;模型處理數字、符號及專門記法的準確度亦有所提升。
Revolut在英國及歐洲部署 ElevenLabs Agents,作為第一線語音客服,服務範圍擴至逾 400 萬名客戶。首階段部署令問題解決時間縮短逾 8 倍,智能體處理的來電中逾 99.7% 成功完成。智能體支援逾 30 種語言並可即時偵測及切換語言,Revolut亦保留編排及業務邏輯控制。
Klarna 在美國推出以 ElevenAgents 建構的語音 AI 智能體,作為電話支援第一線;查詢由智能體處理時,解決速度快至 10x。服務供美國 35 million 名 Klarna 客戶使用,智能體可處理資訊查詢,並在有需要時轉交人工客服。Klarna 計劃將服務擴展至全球,目標涵蓋 114 million 名客戶。
ElevenLabs 完成 $500M D 輪融資,估值達 $11B,並由 Sequoia Capital 領投。公司 2025 年底的 ARR 超過 $330 million;此輪使其自 2022 年成立以來的五輪融資總額達 $781 million。
ElevenLabs 今日在馬德里開設辦事處,並擴大西班牙業務,擴充本地銷售及工程團隊。eDreams ODIGEO(eDO)使用 Eleven Agents,以五種語言處理數以百萬計的客戶支援互動,並在問題解決速度及轉接率方面取得雙位數改善。
ElevenLabs 推出教授語音 AI 使用計劃,並推出以 Einstein 的聲音和作品為基礎的互動學習體驗。教授可免費使用 Pro tier,並可為特定課程和項目向學生提供限時使用權限。重現後的 Einstein 聲音可在 ElevenReader 聆聽;基於 ElevenLabs Agents 的互動體驗則支援用戶即時提問和探索科學概念。
ElevenLabs 宣佈 ARR 在 2026 年首四個月已超過 $500 million,並完成 Series D 第三次交割,迎來 BlackRock、NVIDIA(透過 NVentures)等新投資者。
ElevenLabs 表示,Voice Library 創作者累計收入六個月內由 $11 million 增至逾 $22 million。平台現有 10,400+ 名創作者,Voice Library 收錄 32 種語言的聲音,涵蓋數十種口音和風格。創作者可設定授權用途、價格級別及最長兩年的通知期,收益按使用量和所訂條款計算,亦可更新條款、限制用途或移除聲音。
ElevenLabs 推出 Dubbing v2,直接以原始表演作為條件,將説話者的語調、語氣、節奏和情感意圖延續至 90+ 種語言。其同步感知翻譯系統會自動對齊內容的起始、結束位置和節奏,減少手動調整。