跳到正文
10月8日週四
10月7日週三
  1. gihyo.jp67

    Google 發佈可在智能手機運行的多模態嵌入模型 EmbeddingGemma 2

    Google 於2026年10月6日公開 EmbeddingGemma 2,這款 740M 參數的多模態嵌入模型可在智能手機及 PC 運行,將文字、程式碼、圖像、音訊及影片映射至共同向量空間。模型採用 Apache 2.0 授權,支援搜尋、分類等用途,並可與 Gemma 4 配合在端側構建 RAG;其上下文窗口擴至初代的 4 倍,即 8192 個 tokens。

  2. Hacker News:AI 熱帖28

    Ask HN:有沒有 AI 模型可根據文字指令和參考音訊生成聲音?

    發帖者尚未找到可同時接收參考音訊和文字指令、生成新聲音的商用 AI 模型,並詢問是否有此類方案。ElevenLabs SFX 只支援文字生成音訊,難以單靠文字準確引導生成結果;Stable Audio 3 雖據稱能滿足需求,實測效果卻很差。發帖者希望以樣本不多且不夠乾淨的音源製作新音效。

  3. Hacker News 熱門(buzzing.cc 中文翻譯)68

    OpenAI Decisions API 進入公開測試,現僅支援 gpt-6-luna

    OpenAI Decisions API 進入公開測試,可評估文字、圖像或兩者,並以比 Responses API 快 10 倍的速度返回具類型的答案。它提供 predicate、choice、score 三類問題,分別回傳條件成立概率、指定選項或按各級別概率加權的分數。API 目前僅支援 gpt-6-luna,並須使用專用 POST /v1/decisions 端點。

  4. Google DeepMind70

    Google DeepMind 發佈開放、輕量級多模態嵌入模型 EmbeddingGemma 2

    Google DeepMind 發佈 EmbeddingGemma 2,將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,供裝置端推理使用。

    推薦理由:EmbeddingGemma 2 將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,並列出裝置端記憶體與向量儲存數據,方便評估跨模態搜尋的本地部署。

  5. MarkTechPost78

    Mistral AI 發佈 Mistral Large 4(Le Chonk)公開預覽版,總參數達 1.05T

    Mistral AI 發佈 Mistral Large 4(ML4,代號 Le Chonk)公開預覽版,這款多模態 MoE 模型總參數為 1.05T、每個 token 啟用 49B,並支援 1M token 上下文窗口。

    推薦理由:文章把參數規模、每 token 啟用量與 API 價格並列,並交代網絡安全評測和權重開放時間,便於判斷預覽版的可用性與限制。

  6. HuggingFace Daily Papers(社區熱門論文)35

    Controlled Acquisition and Abstention in Three-Channel Score Conflicts

    音訊、影片與文字分數不一致時,研究以受控三分數基準評估策略應否取得第三個來源或棄答。部分留出合成測試中,閾值策略的目標決策準確率為 0.789 +/- 0.006、效用為 0.481 +/- 0.014;三分數多數決參照分別為 0.626 +/- 0.008 和 0.252 +/- 0.016。查詢選擇策略的效用取決於預算及已觀察分數對的排序,在 50% 和 63.7% 預算下效用下降。

  7. HuggingFace Daily Papers(社區熱門論文)39

    Do Better Visual Representations Always Lead to Better End-to-End Autonomous Driving?

    ViRA 提出一套與規劃器無關的視覺表徵對齊框架,在保持規劃器架構及推理成本不變的情況下,提升端到端自動駕駛表現。研究發現,視覺基礎模型的目標選擇及輔助感知監督均會影響規劃效果。ViRA-Diffusion 在 NAVSIM v2 navtest 取得 92.3 EPDMS,較比較中的近期方法至少高 1.9 分。

  8. HuggingFace Daily Papers(社區熱門論文)61

    TouchScale 提出 500 小時人類視覺與觸覺資料集,支援視覺觸覺學習

    TouchScale提出一個500小時的人類視覺觸覺資料集,以統一的穿戴式配置同步記錄第一身視角 RGB-D 影片、手腕 RGB 影片及雙手密集觸覺測量。資料涵蓋約2K項預設任務;使用完整數據訓練後,未見觸覺感測器上的零樣本接觸 IoU 由0.134升至0.383,機械人四項真實操作任務的平均成功率由22.5%升至57.5%。研究團隊計劃公開所有同步視覺觸覺錄影及重建物件模型。

  9. HuggingFace Daily Papers(社區熱門論文)40

    Systematic Multi-Agent Vision-and-Language Navigation: Formulation, Benchmark, and Method

    研究將多智能體視覺語言導航系統化建模為受約束的協調問題,並提出導航系統 TRISS。MAVLN 基準包含 11,724 個回合,涵蓋 145 個場景及最多四個智能體的團隊,並設有三種指令模式。TRISS 結合基於大語言模型的子任務排程器、共享拓撲記憶及避碰執行機制;實驗顯示,排程、規劃與執行仍有改進空間。

  10. The Verge · AI56

    AI 硬件不能任由科技公司改變「記錄」的定義

    科技公司正探索讓 AI 硬件處理影音、但不保存原始影音,這挑戰了「記錄」必須可保存和回看的既有定義。Bloomberg 報道 Apple 正研發不保存影片、改以 AI 把家中畫面轉成文字描述的智能家居鏡頭;Google 亦在探討能處理環境影像但不保存片段的智能眼鏡。文章質疑文字摘要是否仍屬可保存、可回看的記錄,並主張社會就「記錄」定義達成共識。

  11. ChinaTalk47

    軍事 AI 的難題在數據

    Bharat Patel 指出,數據是軍事 AI 的主要瓶頸,所需數據類型和質素取決於具體用途,因此「AI-ready data」並不存在。Project Maven 自 2017 年起面對缺乏相關目標數據的問題,團隊其後持續收集數據以建立有效模型。數據管道、標準、治理及測試評估,連同偽裝、欺騙、電子戰和數據投毒等威脅,均影響模型能否投入實地應用。

  12. Google Developers Blog62

    EmbeddingGemma 2 開發者指南

    EmbeddingGemma 2 開發者指南介紹這款基於 Gemma 4 的開放模型,可將文字、程式碼、圖像、影片和音訊映射至同一個 768 維向量空間。模型可按需載入由文字與程式碼的 270M 參數配置,擴展至完整多模態的 740M 參數配置,各配置共用同一向量空間。

  13. Mistral AI75

    Mistral AI 推出 Mistral Large 4 公開預覽版,權重預計月底釋出

    Mistral AI 推出 Mistral Large 4 公開預覽版,權重預計月底釋出。模型具原生多模態能力,總參數量為 1 trillion、活躍參數量為 49 billion,並可透過 Mistral Studio API 試用。在 Artificial Analysis Cyber Index 名列全球前五,漏洞重現及修補測試得分 82%,Cybench 則解決 93% 的挑戰。

    推薦理由:文章以 Cyber Index、漏洞重現與修補測試及 Cybench 結果,呈現 Mistral Large 4 在網絡安全基準中的相對表現。

  14. TechCrunch · AI63

    Mistral AI 發佈 1T 參數多模態模型 Mistral Large 4,目標超越開源與閉源對手

    Mistral AI 發佈 1T 參數多模態模型 Mistral Large 4(ML4),目標超越開源與閉源對手。ML4 目前只能透過公開 guardrail endpoint 使用,Mistral 計劃在完成安全測試後,於三週內提供模型權重。模型完全使用 Mistral 的算力訓練,共使用 4,000 張 Nvidia GPU;基準測試結果尚未公佈。

10月6日週二
  1. 上海人工智能實驗室 InternLM:原創項目29

    InternLM/SpatialASM

    SpatialASM 是一套可擴展框架,透過兩階段訓練將主動空間心智化融入 LVLM,提升空間推理表現。框架把空間問答資料轉化為規劃、想像及推理軌跡,並以新視角生成器合成訓練觀察。團隊以 SpatialASM 訓練了四個 Qwen3-VL 和 Qwen3.5 的 LVLM 骨幹;最終模型推理時不依賴世界模型、渲染器或額外視覺觀察。

  2. MarkTechPost62

    Reka 發佈 Rho-1 研究預覽版:19B 全模態推理模型可理解及生成影片並輸出機械人動作

    Reka 發佈 Rho-1 的研究預覽版,這款 19B 全模態推理模型以單一神經網絡理解及生成文字、圖像和影片,並對這些內容進行推理及輸出機械人動作。其兩條專家權重流共用 attention 和 KV cache;蒸餾版把去噪步數由 99 步減至 8 步,約 1 秒可生成 5.3 秒影片。Rho-1 目前僅提供研究預覽,尚無公開權重、API 或定價。

  3. HuggingFace Daily Papers(社區熱門論文)44

    OmniConfess: Eliciting Token Confessions to Mitigate Omni-Modal Hallucination

    OmniConfess 是一種免訓練方法,透過在控制各模態證據介入的情況下,按 token 重新評分候選回應,揭示其對不同證據的依賴,從而緩解全模態幻覺。研究團隊構建了 OmniHalluBench,包含 3,540 個涵蓋文字、圖像、音訊和影片,以及判斷與自由形式生成的例子。實驗顯示,該方法在不同模態和任務設定下均能緩解幻覺,程式碼和基準測試集已公開。

  4. HuggingFace Daily Papers(社區熱門論文)43

    Arm-wise Compositional Generalization in Dual-Arm Vision-Language-Action Models

    研究團隊提出 ACG-Bench,評估雙臂視覺語言動作模型將熟悉技能跨手臂重新組合、應對未見任務組合的泛化能力。基準涵蓋 8 個任務家族、23 組任務與條件;以 π_{0.5} 為骨幹的 AE-VLA 在模擬中的成功率為 21.53%,在實體 SO101 機械人五種未見條件下的平均成功率為 39.00%,高於最強基線的 10.00%。