Lluna: Collaborative Unimodal Models for Missing-Modality Inference
Lluna 透過私有單模態預測、圖式殘差協作及漸進式一致性訓練,改善模態缺失時的多模態預測。在涵蓋情感運算、場景理解及醫療預測的八個數據集上,Lluna 的 Mean-Missing 平均表現較最強評估基線提升 4.26%。固定錨點診斷顯示,八項任務在最少輸入下的平均協作均有正向提升;程式碼已提供。
Lluna 透過私有單模態預測、圖式殘差協作及漸進式一致性訓練,改善模態缺失時的多模態預測。在涵蓋情感運算、場景理解及醫療預測的八個數據集上,Lluna 的 Mean-Missing 平均表現較最強評估基線提升 4.26%。固定錨點診斷顯示,八項任務在最少輸入下的平均協作均有正向提升;程式碼已提供。
MInfoVisQA 是一個涵蓋 24 種語言的平行基準,評估多模態大語言模型在資訊密集型視覺問答中的跨語言穩健性。基準包含 8,960 組問答配置,研究評估了 25 個模型;兩個語言對齊問答平均準確率同為 80.4% 的模型,跨語言表現差距分別達 7.8 和 20.3 個百分點。固定使用英文提問時,25 個模型在非英語視覺素材上的得分均較低。
研究提出 semCER,利用 LLM 評審按嚴重程度為字素編輯加權,令 OCR 和視覺語言模型的評分比標準 CER 更貼近人類評分。semCER 保留 CER 的對齊方式和分母,無需分詞,並將錯誤拆解為具名編輯。研究公開 61 million 個經評審的編輯、彙總讀者評分及蒸餾評分器。
Intern Lumina U2 是一款採用多碼本離散視覺 token 的擴散大語言模型,將文字與圖像、影片及 3D 生成整合於單一主幹網絡,並支援圖像、影片和 3D 輸入。它在視覺理解、圖像生成及圖像編輯方面於統一模型中表現領先,並以穩定性感知取樣策略令圖像生成加速 4.45x。
BlenderWorld 是評測多模態語言模型完成真實世界參照 3D 創作的基準測試,涵蓋 223 項任務。評估採用多角度渲染及 2,651 項二元評分準則;13 個前沿模型中,GPT-6-Astra 以 79.9 分居首,Opus-5 得 73.0 分,GPT-5.6-Sol 得 67.7 分。模型仍難以掌握細緻的 3D 空間一致性及準確重現結構。
WorldCast研究提出多模態生成模型的四級能力層級,並設立評估多步世界狀態預測的基準測試。基準涵蓋八個類別的320個人工設計案例,評估12個具代表性的模型;GPT-Image-2.5 System 得分72.8,Nano Banana Pro 得分42.8,最佳開源模型得分20.1。結果顯示,開源模型在複雜脈絡、交織參照及推理密集任務上仍有明顯差距。
RoTA-Bench 以互動式 3D 至 2D 投影對齊,評估視覺語言模型將 2D 觀察轉化為精確 3D 旋轉控制的能力。基準包含 674 項任務及分層抽取的 100 項測試集;GPT-5.6-Sol 僅完成 17%,20 名大學生合共完成測試集四次,成功率達 100%。
Prime Intellect 收購 Moondream,創辦人 Vik Korrapati 和 Jay Allen 將加入團隊,負責帶領及擴展推理工作,並加快多模態模型相關工作。
Google DeepMind 發佈 Gemini 4 Argon,今日起按用戶類別透過 Gemini API、AI Studio、Google Antigravity、Gemini app 及 Search 的 AI Mode 提供使用。
推薦理由:文章並列 Argon 的跨領域基準表現、使用入口、定價與工程及科研案例,讀者可據此瞭解其能力定位和實際應用範圍。
Google 開始向公眾推出 Gemini 4 模型 Argon,Gemini app 訂戶及開發者可使用。Gemini app 的 Pro 和 Ultra 訂戶須至少支付 $19.99 per month 才可使用,亦可在 Google 搜尋的 AI Mode 使用 Argon;開發者亦須付費。
ListingLift 是供轉售者使用的本地 AI 商品刊登文案工具,透過 Ollama 在賣家裝置上運行 Gemma(gemma4:e4b),按商品照片生成刊登內容。它會產生標題、SEO 標籤、描述、建議價格範圍、商品狀況備註及平台提示。工具毋須雲端 API,亦可在沒有網絡訊號時使用。
Lovable 可透過無程式碼介面及 API 能力整合 Replicate,讓開發者在應用程式中使用圖像生成、文字轉語音和影片等 AI 模型。開發者可先在 Replicate Playground 測試及調整模型,再將 API 程式碼加入 Lovable;Replicate 亦提供模型部署和硬件擴展功能。
鐘南山團隊與金域醫學聯合開發的肺癌病理基因多模態大模型 DeepGEM 2.0 正式發佈,可利用常規數碼病理切片圖像進行基因預篩。模型涵蓋國內已獲批肺癌靶向藥對應的 12 個基因,預測精確度最高可達 90%,最快 1 分鐘輸出結果。採用「AI 初篩+特定基因靶向驗證」模式,有望將肺癌基因檢測費用降至數百元。
9 月 29 日至 10 月 6 日,已發布的 Lovable 應用程式透過 Lovable AI 使用 Google Gemini(預設模型)的所有 AI 功能及用量免費。Lovable credits 仍按正常價格收費;用戶可在這段期間建立支援聊天或生成圖片的 AI 原生應用程式,無須支付 AI 推理費用。
Apple 首款智能家居中樞 HomeView 攝影機規格曝光,配備 Sony IMX614 CMOS 感光元件,有效像素約 1130 萬。它可拍攝 3744 × 3024 照片,影片錄製支援 30FPS/60FPS,並採用 RGB 成像。HomeView 可識別人體、人臉、手部、貓和狗,支援 3D 人臉追蹤及裝置距離偵測,但不支援 Face ID、紅外線和螢幕距離偵測。
哈囉 Robotaxi 昨天宣佈推出生成式駕駛世界模型 HelloWorld,整合場景控制、連續生成、多感測器觀測與高效推理能力。模型可根據自然語言描述或編輯車輛、行人及運動軌跡,生成多視角影片與激光雷達觀測;施工、密集交通、雨雪、霧天及不同光照條件均可用來引導生成。
面壁智能發布新一代端側多模態模型 MiniCPM-V 4.7,包含 35B-A3B 與 1B 兩個版本。官方稱,35B-A3B 是可在端側無損流暢運行的開源 MoE 模型,總參數 350 億、每次推理啟用 30 億,約需 3GB 記憶體,iPad Pro 實測解碼速度達 15+ token/s。
哈囉於2026年10月13日在深圳發佈生成式駕駛世界模型 HelloWorld,可按自然語言指令或手動編輯車輛、行人及運動軌跡,生成多視角影片與激光雷達觀測數據。研發人員可構建行人橫過、前車變道、雨雪天氣及晝夜切換等長尾測試場景,補足真實路測對罕見情境的覆蓋不足。該模型旨在加快自動駕駛演算法迭代及安全驗證。
面壁智能發布端側多模態大模型 MiniCPM-V 4.7,提供 35B-A3B 和 1B 兩種規格。官方稱,35B-A3B 是 MiniCPM-V 系列首個 MoE 模型,在 iPhone 17 Pro Max 上僅用 3GB 記憶體即可達 13+ token/s 解碼速度,並支援 iOS、Android 和鴻蒙。
Namuga獲選為一家全球大型科技企業開發的新一代 3D 視像會議系統量產供應商,將供應立體相機模組。該決定是在約六個月的概念驗證(PoC)測試及品質、性能評估後作出;客戶身份和供應量因保密條款未有披露。模組以左右兩部相機擷取拍攝對象的距離及深度資訊。
自然意志發佈 Natura-1,這款 500 億參數的物理世界通用基礎模型以 100 萬小時第一人稱人類經驗完成預訓練。模型以語言和視覺為輸入,可在 100 毫秒控制迴路中驅動 20 自由度靈巧手。在自建的 12 維度基準中,Natura-1 的 Base 和 Agentic 綜合得分分別為 53.4% 和 59.1%;Agentic 在全部 12 個維度取得最高或並列最高得分。
導演徐克在法國盧米埃爾電影節表示,AI 正日益模糊現實與幻覺的界線。資訊來源增多、傳播加快,令內容更易被塑造、真實來源更難追溯;圖像、影片和文字均可生成或修改,觀眾難以確認內容是否反映真實事件。他亦認為,AI 普及可能影響人們對自我身份及外部世界的理解。
半圖科技完成超千萬美元 Pre-A 輪融資,由聯想創投領投,IDG資本等多家國內外投資機構跟投。融資將用於人類行為模型研發、數據體系建設、團隊擴充及 AI 原生 3D 互動場景產品化。《代號Live》在2026年9月測試中次日留存達72%、5日留存達57%,用戶人均每日互動近200條。
AMD 於 2026 年 9 月 28 日宣佈,已達成協議,將以約 $8.2B 的全股票交易收購由 Fei-Fei Li 領導的 World Labs。交易完成後,Li 將出任 AMD 執行副總裁兼首席科學家,World Labs 團隊會繼續專注 AI 模型研究。交易預計於 2026 年底前完成,尚待監管批准及其他慣常交割條件。
推薦理由:收購安排把 World Labs 的模型研究團隊納入 AMD,並列明 Fei-Fei Li 完成交易後的職務,呈現 AMD 將模型專長接入硬件規劃的方向。
三星首款智能眼鏡預計下月開售,搭配標準鏡片重約 41 克,搭載驍龍 AR1 Gen1。眼鏡沒有顯示屏,配備 1200 萬像素攝像頭,支援以 30 幀錄製 3K 影片;眼鏡本體最長可用 9 小時,搭配充電盒最長可用 72 小時。Gentle Monster 款將在韓國和美國發售,Warby Parker 款僅在美國上市,售價尚未公佈。
Game2Real-Bench 評估玩具遊戲中的能力能否反映並遷移至真實世界視覺推理,涵蓋細粒度感知、空間推理、約束推理及序列規劃。研究以 1,000 個遊戲樣本和 400 個真實世界樣本評估 25 個 VLM,兩者的 Pearson 和 Spearman 相關係數均為 0.935。Game2Real-Dataset 收錄近 24K 個經驗證的遊戲樣本,涵蓋 18 項任務及 65 個 QA 家族。
WorldMemBench 以 260 個測試案例,系統評估影片世界模型在多次重訪中的靜態與動態記憶,以及事件狀態轉變。對九個代表性模型的評估顯示,靜態記憶保留良好不代表動態狀態演變可靠,反覆重訪亦會暴露首次返回後的記憶退化。
OmniCompass 是一套評估全模態影片定位與理解的綜合基準,設有 OmniCompass-VL 和 OmniCompass-AV 兩條評測軌道,涵蓋時間定位、空間定位及問答。
論文提出 PORTAL,透過最優傳輸及各模態摘要統計,在無需配對圖像描述數據或梯度最佳化的情況下初始化多模態 LLM 投影器,省去投影器訓練階段。研究亦發現,投影器只用 10% 至 20% 訓練數據已能恢復大部分下游效能提升,不同數據集訓練的投影器亦可線性插值並大致保留效能。
研究以 ScreenRef 數據集及 D2RL 訓練 GroundGUI-8B,提升 GUI 定位表現。ScreenRef 涵蓋桌面、網頁及流動裝置,包含 586K 張截圖及超過 633K 個指代表達實例。
elsewhere 刊出田柯宇播客訪談摘錄;田柯宇稱字節跳動訴訟一審判賠約50萬元,案件目前仍在二審。他承認曾手動停止同事的程序,稱約十天內操作五次,並認為行為違紀且浪費他人時間;他否認曾持續兩個月或影響其他人的研究。訪談亦談及他取得 NeurIPS Best Paper 後的職涯挫折,以及其團隊以預測未來為方向的多模態基座模型創業。
多模態 AI 可接收、關聯或生成文字、圖像、音訊、影片及感測器數據等多種媒介的資訊。其運作可按五項可觀察操作理解:編碼各模態、連結相關訊號、融合證據、結合情境推理,再生成答案;但並非每個系統都以五個軟件元件實現。多個單模態工具若從不共享上下文,不能只因功能並列而視作多模態 AI。
費城兒童醫院(CHOP)以 MONAI 建立心臟建模服務,將既有 CT、MRI 和 3D 超聲波影像轉成解剖結構精確的兒童心臟模型。NVIDIA 稱,每個模型數秒即可生成,取代熟練研究人員過去約需 4 小時的流程,令模型可用於常規臨牀。美國已有超過 20 間兒童醫院運作心臟建模項目,CHOP 預計 2026 年處理約 200 宗建模病例。
視覺語言模型(VLMs)將視覺特徵與語言連結,讓系統能以文字描述、比較、檢索或推理圖像。其運作流程包括圖像編碼、文字編碼、連結兩種表示、跨區域與詞組注意,以及解碼有根據的回應;文章亦區分這類模型與只預測固定標籤的電腦視覺。
研究提出 ReImaGin,讓視覺語言模型在鏈式推理過程中生成圖像,並將圖像作為後續推理的輸入,而非提供給用戶的成品。該系統在三個 VLM、六項視覺推理任務中的多數模型與任務組合上勝過 No Tools 及 Visual Sketchpad;GPT-5 的拼圖完成準確率由兩種基線的 29.5% 和 16.7% 提升至 44.9%。
阿拉巴馬大學研究人員以暴力事件發生前的影片訓練模型,測試能否從行為線索預測暴力。模型結合面部外觀、音訊和身體動作,Deit-Tiny 配置在測試集達 91.21% 準確率、88.96% 平衡準確率、93.65% F1-score 及 96.38% ROC-AUC。
NVIDIA 研究測試 11 款視覺語言模型後發現,使用工具會令模型在三項安全基準上更容易未能拒絕有害請求。工具使用下,拒絕失敗率的相對增幅最高達 68.7%;研究提出上下文稀釋及安全焦點轉移,作為安全性下降的兩種可能原因。在最後一次工具調用後重新提供原始請求和圖片,五款模型的平均失敗率下降 7.6%。
Import AI 第 476 期彙整 AI 研究與產業動態,聚焦研究創造力與 RSI、開放權重模型競爭,以及 AI 走向太空。
由中車長春軌道客車股份有限公司牽頭研製的 VELLINK 亮相,成為我國首列具身智能數碼地鐵列車。列車搭載多模態感知大模型及中國中車股份有限公司自主研製的「斫輪」大模型,可即時感知線路環境和運行狀態,並智能制定行車策略。列車整體減重約 18%,綜合節能率超過 10%,全壽命週期碳排放減少約 15%。
模思智能完成超10億元Pre-A輪融資,由華控基金領投;資金將用於全模態即時互動智能研發、能力建設及全球商業化落地。模思亦將推進AI for AI,讓AI參與數據生產、篩選和模型迭代。即將發布的MOSS Live由前端互動模型與後端能動性模型協作,前者持續看、聽、説,後者負責複雜推理和任務執行。