跳到正文
10月9日週五
  1. HuggingFace Daily Papers(社區熱門論文)43

    Chaos in the Text: Revealing the Modality Preference in Mixed-Modality Retrievers

    研究發現,混合文字、圖片及文字圖片融合文件的檢索表現會受模態組成影響,無關文字造成的性能下降比同等數量的無關圖片更嚴重。檢索器對文字表示有模態偏好,可能令無關文字的相似度高於相關圖片。研究提出 Trident,以 Multi-Positive View InfoNCE 聯合優化相關性判別與正樣本視圖平衡,提升 CLIP-based 和 VLM-based 架構的混合模態檢索表現。

  2. HuggingFace Daily Papers(社區熱門論文)41

    SuperNav:適用於任何任務與場景的智能體導航系統

    SuperNav 是一套面向不同任務與場景的智能體導航系統,以預訓練多模態大語言模型(MLLM)理解指令和場景並作出決策,再由導航工具執行移動,無需對模型進行導航專項微調。它在實例級、多物件及需求驅動任務中勝過四個基線,並在 HM3D 類別級評測及真實四足機械人部署中展示跨環境適用性。

  3. HuggingFace Daily Papers(社區熱門論文)41

    RISEBench++:推理導向視覺編輯評測基準

    研究團隊提出 RISEBench++ 視覺編輯評測基準,並提出免訓練的 RISE-Agent 框架。基準涵蓋 6 個推理維度、12 個子類別、65 種任務及 1,000 個人工標註測試案例,支援英文和中文。評估 58 種方法後,表現最佳的 GPT-Image-2.5 Sunburst 準確率為 56.6%。

  4. HuggingFace Daily Papers(社區熱門論文)41

    RealityBench:以模擬環境評估視覺語言模型記錄人類實體工作的能力

    RealityBench 以 Blender 的 11 個模擬環境評測 26 個視覺語言模型記錄人類實體工作的能力。答案可從畫面文字讀取時,頂尖模型大致能完成記錄任務,但讀取測量值、辨識小型零件及判斷空間關係仍較弱。可接受性判斷因評分者意見不一而難以評定,最佳模型的表現與一名非作者評分者無法區分。

  5. HuggingFace Daily Papers(社區熱門論文)37

    SpatialASM: Internalizing Active Mentalization for Spatial Reasoning

    SpatialASM提出主動空間心智化(ASM),訓練大型視覺語言模型主動規劃相關視角,並在內部想像從這些視角可見的內容,以進行空間推理。訓練框架使用 allocentric 新視角生成器,合成「規劃—想像—推理」軌跡及可自動驗證的視角轉換任務。SpatialASM在四種大型視覺語言模型骨幹和七項空間基準測試中提升空間推理表現,同時保留一般視覺能力;推理時無需額外視角或渲染器。

  6. HuggingFace Daily Papers(社區熱門論文)35

    ThinkDrag: Semantic Drag-Based Image Editing with Visual Reasoning

    ThinkDrag 是一個結合視覺推理的多模態框架,讓拖曳式圖片編輯能根據點位限制理解物件及場景層級的語義轉換。它可在生成圖片前輸出推理過程,並以 Drag Endpoint Markers 為拖曳提供圖像空間中的對應訊號;研究亦建立配對推理過程的監督數據集,並推出評估具挑戰性編輯情境的 DragBench++。

  7. HuggingFace Daily Papers(社區熱門論文)39

    Jag: Direct Box Prediction for Efficient Visual Grounding

    Jag 是一個 0.8B 視覺定位模型,能在單次前向傳遞中預測邊界框,無須自回歸生成座標。它在五個測試分組上均優於基礎模型,整體 Acc@0.5 與 LocateAnything 相若;單次請求基準測試中,速度快 3.62×,峯值 GPU 記憶體用量少 73.88%。Jag 已公開模型權重、訓練與評估程式碼,並提供互動示範。

  8. viAct · 視覺 AI 及工地安全43

    日本建築安全:主要風險及電腦視覺如何提供協助

    日本建築工地面對高空墮下、機械事故及熱疾病等安全風險,電腦視覺可透過現場影像進行持續、即時監察。2025 年日本有 214 名建築工人因工死亡,約佔全行業 700 宗死亡事故的 31%;高空墮下是建築事故的首要成因。日本自 2025 年 6 月 1 日起規定僱主採取預防熱疾病措施。

10月8日週四
  1. MIT Technology Review · AI64

    AI 機械人突破短期內難以改變日常生活

    AI 機械人研究雖有進展,但現有系統仍難以泛化至訓練資料以外的任務,可靠度亦不足,短期內難以改變日常生活。Physical Intelligence 的 π0.7 曾嘗試把番薯放入氣炸鍋,但訓練資料中已有少量相關遙操作示範,而且機械人未能完整完成任務。目前的實際部署仍限於受控環境中的簡單工作,示範中的成功率提升也未必代表機械人已能可靠地在家庭或工廠使用。

  2. Cartesia 產品與研究58

    Cartesia 宣佈完成 $27M 種子輪融資

    Cartesia 宣佈完成 $27M 種子輪融資,由 Index Ventures 領投,並獲 Lightspeed 等機構及 90 位天使投資人參與。公司介紹一種用於多流模型的新 SSM 架構,可讓不同模態的數據流並行推理與生成,並以端到端語音生成模型示範如何細緻控制文本以避免幻覺。

  3. Cartesia 產品與研究47

    Hierarchical modeling

    Cartesia 宣佈與研究夥伴合作研究階層式網絡 H-Net,這種新架構能直接從原始數據建模層級,並透過動態分塊機制把數據切分及壓縮成有意義的概念。H-Net 在語言建模中比採用 BPE tokenization 的最先進 Transformer 更能隨數據擴展,且在中文、程式碼和 DNA 等沒有自然 token 邊界的領域優勢更明顯。

  4. 中華網科技83

    OpenAI 向所有 ChatGPT 用戶推出 GPT-6 系列及 Intelligent UI,全球每週活躍用戶逾 12 億

    OpenAI 宣佈向所有 ChatGPT 用戶推出 GPT-6 系列模型及 Intelligent UI;ChatGPT 全球每週活躍用戶超過 12 億。Intelligent UI 會按用戶問題組合文字、圖像和互動元素生成回覆,並可加入圖表、可點擊按鈕及表單。官方示例展示用戶透過互動式視覺效果學習打麻將,效果會隨學習、嘗試和發現作出反應。

    推薦理由:GPT-6 系列由 ChatGPT Work 和 Codex 擴展至所有 ChatGPT 用戶,Intelligent UI 則把文字、圖像和互動元件納入回覆。

  5. HuggingFace Daily Papers(社區熱門論文)45

    RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments

    RobotWorld 推出一個評測多模態智能體機器人操作能力的模擬測試平台,涵蓋不同任務與機器人形態。測試包含 84 項操作、移動操作、行走、駕駛及空中控制任務,並設有明確的互動預算和可執行的成功檢查。測試發現,智能體雖能建立複雜的感知與控制流程,仍未能穩定組合各項能力以完成任務;Astra 和 Opus 5.5 在不同目標上各有較佳表現。

  6. HuggingFace Daily Papers(社區熱門論文)39

    UltraText Bench: A Comprehensive Bilingual Benchmark for Evaluating Visual Text Rendering in Image Generation

    UltraText Bench 是一個評估圖像生成模型以提示詞生成密集視覺文字能力的中英雙語基準,涵蓋 432 個提示詞、24 類真實場景及三個難度級別。基準以 Q-Judger 評估文字保真度、清晰度、空間品質及場景品質;在所報設定下,Z-Image-Turbo 的清晰度比 Z-Image-Base 高 3.81 分,保真度則低 14.76 分。

  7. HuggingFace Daily Papers(社區熱門論文)39

    GATOR: Generative and Agentic 3D Object Reconstruction From Casual Images

    GATOR 是一套生成式與智能體式框架,可從一張或多張日常影像重建具紋理的 3D 物件資產及其場景相對姿態。框架結合 RGB、目標遮罩與 pointmap 特徵,並透過觀察引導的編輯、渲染及檢視流程修整幾何與紋理;在稀疏觀察下,重建結果具幾何和外觀保真度,亦適用於場景級模擬。

  8. IT之家63

    田柯宇進軍世界模型,初創公司估值達 2 億美元

    前字節跳動實習生田柯宇創辦世界模型初創公司,已融資近 3,000 萬美元,投後估值達 2 億美元;公司尚未公開名稱和產品。團隊稱其系統包含 20 萬個符號,用於協助模型處理影片。田柯宇稱,這種方法可把生成 1 秒影片的成本至少降至原來的十分之一,完整模型計劃於 2027 年正式發佈。

  9. IT之家80

    OpenAI 向所有 ChatGPT 用戶推出 GPT-6 系列模型及智能介面

    OpenAI 宣佈向所有 ChatGPT 用戶推出 GPT-6 系列模型及智能介面(Intelligent UI),ChatGPT 全球每週活躍用戶超過 12 億。

    推薦理由:GPT-6 系列此前僅供 ChatGPT Work 和 Codex 使用,現已開放予所有 ChatGPT 用戶;智能介面可按問題組合文字、圖像及互動元件生成回覆,亦支援圖表、按鈕和表單。

  10. 字節 Seed:Research Feed59

    Seedream 5.0 Pro 正式發佈,提升圖像創作與精準編輯能力

    Seed 正式發佈多模態圖像創作模型 Seedream 5.0 Pro,提升圖文匹配、結構合理性、文字渲染及畫面美感。其四項核心能力包括高密度資訊圖生成、交互式精準編輯、寫實影像與人像質感,以及十餘種語言的輸入與生成;目前已在火山方舟體驗中心上線,並將陸續在豆包、即夢上線。文中亦指出,更細緻的文字渲染及像素級編輯保持仍有改進空間。

  11. 字節 Seed:Research Feed74

    SeedRealtime 發佈音訊與影片全雙工大模型,邁向全模態自然互動

    字節 Seed 正式推出 SeedRealtime 音訊與影片全雙工大模型,透過統一架構原生融合音訊、影片與文字,支援連續多模態資訊流上的即時互動。端到端人工評測結果顯示,相比級聯模型,SeedRealtime 的音訊與影片對話節奏問題減少一半,單次對話順暢、完整交流的機率亦明顯提升。

  12. The Verge · AI80

    ChatGPT「Intelligent UI」更新在回答中加入圖片、圖表和按鈕

    OpenAI 隨 GPT-6 向 ChatGPT 推出「Intelligent UI」,讓回答結合文字與圖表、示意圖、表單及可點按按鈕等互動視覺內容。用戶還可要求 ChatGPT 在回答中生成退休儲蓄計算器、復古遊戲或分帳工具;GPT-6 亦改善網頁搜尋,並可在搜尋期間更快提供部分答案。

    推薦理由:材料列出互動圖表、可捲動瀏覽的麻雀牌面分類及內嵌計算工具,呈現 ChatGPT 回答如何由文字延伸至可操作內容。

  13. HuggingFace Daily Papers(社區熱門論文)49

    SepGen:單一模型實現多音軌音訊分離及音訊影片生成

    SepGen 將預訓練音訊影片生成器擴展為可在一次聯合取樣中輸出影片、混合音軌,以及每個文字描述聲源各自的波形。模型設有生成和分離兩種模式:生成模式按聲源描述輸出分軌,分離模式則按文字描述從音訊混合中提取聲音。評測顯示,描述包含對白內容時,SepGen 的表現優於語言條件分離器,尤其在語音分離上;移除對白內容後仍保持領先。

  14. HuggingFace Daily Papers(社區熱門論文)52

    Humanity's Sixth Sense 基準評測多模態模型的直覺視覺推理能力

    該研究提出 Humanity's Sixth Sense(HSS),以圖像和影片題目評測多模態模型對隱含時間、空間、社會及抽象結構的直覺視覺推理。人類參與者準確率為 93.1%,最強模型 GPT-6-astra 即使在最大推理力度下也只有 53.6%。研究亦測試以動態視覺操作應用於 HSS 的智能體設定,該設定縮小但未能消除人類與模型的差距。

  15. HuggingFace Daily Papers(社區熱門論文)46

    The Lattice of Transition Laws

    這項研究把擴散模型、自回歸(AR)模型及兩者之間的模型描述為同一腐化格上的路徑,並以並行步驟捨棄的依賴關係定義解碼排程成本。對圖上呈 Markov 特性且沿路徑有依賴的資料,零成本排程所需的最少步數等於圖的樹深度。研究以預訓練權重估算成對依賴,預測不同排程的排名,並在文字、圖像及影片生成中驗證大部分預測。

  16. HuggingFace Daily Papers(社區熱門論文)46

    DataVista:多模態大語言模型數據影片理解能力評測

    DataVista 建立首個數據影片理解基準,收錄 961 段真實數據影片及 6,775 條評測問題,按數據感知、時間推理和敍事理解三層能力組織。評測 19 款主流多模態大語言模型時,Gemini-3.1-Pro 以 70.0% 總體準確率居首,仍遠低於人類專家;模型在因果推理和敍事結構方面表現最弱。

  17. HuggingFace Daily Papers(社區熱門論文)44

    Sensor-Language-Action Models

    研究提出感測器—語言—行動(SLA)建模框架,將多模態感測器觀察、自然語言與行動整合至同一模型。研究建立涵蓋逾 116,000 人、79 種感測器模態及 60 個行動組別的基準,並推出用於階層式行動預測、狀態理解及行動解釋的 OpenSLA。OpenSLA 在臨牀預測、手術室及代謝健康等真實任務中表現優於最先進方法。

  18. Hugging Face Blog61

    Liquid AI 發佈端側決策模型 d1-3B 與實驗版 d1-omni-600M

    Liquid AI 發佈兩款開放權重端側決策模型 d1-3B 和實驗版 d1-omni-600M。d1-3B 支援文字與圖像輸入,在 Decision Index 0.2.1 得分 48.57,並在七個公開數據集取得 82.9 的平均分;d1-omni-600M 支援文字與圖像或文字與音訊輸入。

    推薦理由:文章把 d1-3B 的公開基準成績與多款邊緣設備的延遲數據並列,讓讀者瞭解其決策表現及端側推理速度。