松下與 Google 合作打造家庭安防解決方案
松下與 Google 合作開發新一代家庭安防方案,結合松下的可視對講及監控技術與 Google 的 GenAI 和雲端優勢。方案將以 AI 影片分析識別可疑行為和異常事件,並按家庭成員構成及生活方式提供個人化通知和推薦;雲端整合、軟件更新及雲端 AI 的進展則用於簡化體驗、減輕營運負擔和持續增強功能。
松下與 Google 合作開發新一代家庭安防方案,結合松下的可視對講及監控技術與 Google 的 GenAI 和雲端優勢。方案將以 AI 影片分析識別可疑行為和異常事件,並按家庭成員構成及生活方式提供個人化通知和推薦;雲端整合、軟件更新及雲端 AI 的進展則用於簡化體驗、減輕營運負擔和持續增強功能。
Cloudflare 發佈開放權重模型 Clef-omni,可在一次呼叫中對文字、圖像、音訊和影片輸入進行決策評分。模型總計 30B 參數、啟用 3B 參數,採用 MoE 架構,並在 Workers AI 提供 64,000-token 上下文。
Moore Threads 與 vLLM-Omni 團隊以 torchada 在 MUSA 上運行 MAGI-2 Preview,272p 單步測量為 565 ms。
vLLM Semantic Router 團隊推出 Decision 3.0,一組可讀取文字、JSON 和圖像,並以概率回答結構化問題的多模態決策模型。系列共有 5 個型號,參數規模由 0.85B 至 26.09B,全部採用 Apache-2.0 授權。模型可在一次呼叫中回答多個選擇題、是非題或評分問題,並為每個答案返回概率。
知識型視覺問答研究發現,在數據稀缺的微調條件下,決策層晚期融合優於深度注意力修改,顯示更深入的知識整合未必更有效。研究以 Llama 3.3 70B 生成引導資訊,並在 OK-VQA 比較兩種策略;晚期融合取得 39.4% exact match,比無引導基線高 10.0,深度注意力修改則為 31.8%。研究亦以問題改寫擴增訓練數據,令數據量增加逾十倍。
CameraVLM 以語言對齊訓練,聯合學習螢幕外鏡頭運動狀態與螢幕內光流動態,改善視覺語言模型對鏡頭運動的理解。這個 9B 參數模型在三項基準及超過 20 個基線上大幅勝過所有開源及鏡頭運動專用模型,並在 48 人研究中媲美或超越 GPT-6 Astra 和人類觀看者。
研究發現,全模態大語言模型往往能感知非文字資訊,卻未能在回應中表達。研究提出 Token-level Modality Alignment(TMA)分析模態表徵與回應表徵的對齊,並設計 OmniCatalyst,以「感知→推理」策略補充自行生成的文字。OmniCatalyst 在七個全模態大語言模型上均提升表現,增幅為 +7.29%,並令模態偏好更均衡。
FramePack-U 以免訓練的影格封裝框架,將任意長度的影片壓縮成固定大小的視覺表示,讓視覺語言模型以恆定記憶體成本處理影片。它可在推理時直接接入現有模型;在 Qwen3.5-35B-A3B、128-frame 預算下,於 LongVideoBench、MLVU 和 Video-MME 的表現分別提升 +12.9%、+10.6% 和 +9.7%。
AUGUstus 將擴散式動作生成與自回歸 CoT 理解整合於自動駕駛 VLA 模型,推理時只需輸出動作以降低延遲。模型在 NAVSIMv1 得 94.6 PDMS、NAVSIMv2 得 90.7 EPDMS,在 nuScenes 的平均 L2 誤差為 0.27 m,平均碰撞率為 0.05%。
SyncReward 研究視聽生成的同步評估與獎勵建模,並推出配套資料集、基準及獎勵模型。SyncReward-Data-80K 收錄 80K 項專業同步評分,SyncReward-Bench 包含 1K 段由多位專業人士獨立評分的片段;SyncReward 與受評方法相比,最能貼合人類評分。作為獎勵模型,它可透過推理時 best-of-N 選擇及基於強化學習的後訓練改善同步效果。
Multics 提出採用分層通訊的多玩家影片生成框架,透過玩家、羣組及全局層級組織資訊交換。實驗顯示,Multics 在 4 人及 6 人設定達到最先進水平,並可由 4 人訓練泛化至 6、8、10 人推理,無需重新訓練;與全連接通訊相比,自注意力計算量亦有所減少。
PINT 透過可學習的預測意圖 token,統一視覺語言推理、影片世界建模與動作生成,無需具身預訓練即可提升機械人操作的泛化能力。在 RoboTwin 2.0-Hard 和 LIBERO-Plus 上,PINT 分別取得 15.5% 和 79.5%,高於 Fast-WAM 的 1.8% 和 51.5%,以及 StarVLA 的 3.2% 和 75.0%。
Odyssey 已開放世界模型 Odyssey-3 的公開研究預覽,用戶可透過文字提示生成互動環境並即時探索。免費網上演示使用 Odyssey-3 Flash;基礎版有 14 billion parameters,輸出影片解像度為 832 × 480 像素,Odyssey-3 Pro 支援 1280 × 720 像素。
Lightbulb Computer 是一款結合投影器與電腦視覺的燈泡形裝置,旨在把資訊投射到日常空間,探索不同於智能眼鏡和頭戴裝置的空間及環境運算方式。實際原型展示了語音指令、指向辨識、內容分析及投影功能,可用於食譜、地圖、照片和智能家居控制。作者指出,現時技術尚未成熟到可推出消費者版本。
ViewCraft 同時演進可執行的證據介面及其閲讀程序,在 8 個基準測試上的任務分數較直接執行平均提升 6.1 分,且每項基準均有提升。在五項多來源任務中,學得的介面較 Initial skill 少用 8%-15% 輸入 token;學得的技能在所有已評估的執行器轉移測試中,亦勝過直接執行。
Apertus 1.5 將全開放 Apertus 系列由文字擴展至多模態推理,加入圖像和音訊理解。8B 和 70B 分別以額外 4T 和 2T tokens 持續預訓練,上下文窗口擴大四倍至 262,144 tokens,架構則保持不變。
UniForge3D 在共享錨點引導空間中聯合建模 3D 重建與生成,解決兩者的座標不匹配問題。方法為每個體素選取最具資訊量的輸入視角,並以生成結構引導點圖預測;在 Toys4K 和 GSO 上取得外觀與幾何方面的最先進成果,生成保真度更高的完整 3D 資產。
SIMIT 是一種測試時自我改進框架,讓視覺語言模型在回答未標註查詢前生成專屬練習資料,無需外部標註或模型。它合成多樣的問題、答案與圖像組合,並以多階段驗證和難度篩選檢查及挑選樣本。SIMIT 在 17 個基準測試中勝過現有自我改進方法;最佳配置較 BAGEL-7B 平均相對提升 +7.20%,免訓練的 SIMIT-ICL 提升 +6.98%。
CIViC提出由四道關卡組成的檢查協議,用以評估音訊條件視覺預測是否運用了預期的音訊資訊。合成音訊特徵混合任務中,加入條件的模型在 1,000 步時 RMSE 為 0.1807,高於僅用音訊模型的 0.1707;SpeakerVid 代理任務中,五項低階音訊摘要歸零的模型整體影格灰階 RMSE 較低,但對齊音訊的片段漂移誤差較低。結果顯示,不同代理任務中的輸出啟動、留出誤差及端點控制支持不同解讀。
RSI-Nav 提出以數據為中心的導航遞迴自我改進框架,在共享模型中整合視覺-語言到動作的指令跟隨,以及視覺-動作到語言的指令生成。模型逐批處理未標註軌跡,生成並評估指令、保留合格樣本,再更新模型,使新生成的監督資料與不斷演進的策略同步。在 R2R-CE 和 RxR-CE 分別取得 68.6% SR 和 72.4% SR,指令生成效用更強,空間理解亦有小幅改善。
字節 Seed 正式發佈多模態圖像創作模型 Seedream 5.0 Pro,提升圖文匹配、結構合理性、文字渲染及畫面美感。模型支援高密度資訊圖生成、互動式精準編輯、圖層拆分、多圖融合,以及十餘種常用語言的直接輸入與生成。目前已在火山方舟體驗中心上線,並將陸續在豆包、即夢上線;項目主頁:https://seed.bytedance.com/seedream5_0_pro
Seedance 2.5 正式發布,單次影片生成時長提升至 30 秒,並支援多輪延長。模型單次最多可參考 30 張圖片、10 段影片及 10 段音訊,並支援時間戳精準編輯。模型正陸續上線即夢 AI、豆包專業版,API 服務將於近期上線火山方舟;項目主頁:https://seed.bytedance.com/seedance2_5。
推薦理由:Seedance 2.5 將單次生成時長提升至 30 秒,並支援多素材參考及時間戳編輯,呈現影片生成由片段輸出走向長敍事與精細控制的能力變化。
字節 Seed 正式推出原生音訊及影片全雙工大模型 SeedRealtime,透過統一架構融合音訊、影片與文字,並在連續多模態資訊流中即時互動。端到端人工評測顯示,相比級聯模型,音訊及影片對話的節奏問題減少一半,單次對話順暢、完整交流的機率亦有明顯提升。
Cloudflare 推出開放權重決策 AI 模型 Clef-omni,支援以單次 API 呼叫處理文字、圖像、音訊及影片。模型在此前 Clef 基礎上新增音訊及完整影片輸入,支援 wav、mp3、mp4 和 webm,開發者毋須另行搭建語音轉寫及音影片拆分流程。
仟弈智能正從烹飪機器人批量交付階段,轉向探索穩定盈利、精細化營運及規模化發展。公司計劃結合大模型與多模態技術,提升機器人對菜品的推理和烹飪能力,並按不同餐飲場景開發產品矩陣。拓展海外市場時,仟弈智能會先深入瞭解當地需求,並探索與中國製造及餐飲品牌出海相結合的路徑。
OpenAI 開放 Decisions API 公開測試,讓文字和圖像輸入轉為可供程式分支處理的具型別答案,並稱其速度比 Responses API 快約 10 倍。API 目前只支援 gpt-6-luna,能輸出帶概率的條件判定、選項或評分;輸入價格為每 1M tokens $0.10,輸出不收費。OpenAI 尚未公佈準確度或校準數據,文件建議以應用程式的已標註樣本設定閾值。
研究提出 EviScene,一個透過視覺檢查、外部檢索及證據分析,判斷圖像所描繪情況是否有事實支持的多模態 ReAct 智能體。研究亦推出專家審核的 EviLens 基準,收錄 10,174 張有支持或遭反駁的圖像,涵蓋 12 種事實錯誤類型。
受控評測顯示,多數對比訓練策略相較標準對齊基線提升有限,部分策略更會降低整體表現。結合困難負例挖掘、假陰性緩解與困難批次構建,在 Qwen2-VL-2B 上令 MMEB 平均提升 6.0%,表現最佳。
OmniCam 是一款自回歸模型,可根據單張全景圖和文字描述生成相機姿態序列,透過幾何與目標感知條件提升軌跡準確度並減少碰撞。研究團隊構建了包含 267,700 條軌跡的 OmniCaT;在其評測中,與在 OmniCaT 上重新訓練的 GenDoP 相比,OmniCam 的軌跡誤差降低 28–47%,碰撞率降低 65.8%。
Google 回顧 2026 年 9 月的 AI 更新,涵蓋 Gemini 4 Argon、Gemini 3.8 Flash 系列、Gemini 3.8 Live、Connected Apps 和 WeatherNext 3。
論文發現 S-Space 是多模態語言模型內部的線性空間子空間,物件 token 表徵會編碼水平、垂直及距離軸上的連續座標。模型能把感知到的位置編碼其中,並在改變視角時轉換表徵;研究指出,可靠空間推理的瓶頸在於這類空間轉換,而非形成空間表徵。
Anthropic 宣佈 Claude 現支援 Dashboards 數據儀錶板及 Motion 解説動畫,兩項功能目前均處於測試階段。連接公司數據平台後,Dashboards 可按用戶以自然語言提出的問題,建立自動更新的數據監控儀錶板。
Liquid AI 發佈 d1 系列兩款開放權重決策模型,d1-3B 有 31.2 億參數並支援文字與圖像輸入,d1-omni-600M 有 5.87 億參數,支援文字與圖像或文字與語音組合輸入。
Biohub、美國能源部(DOE)、美國國立衞生研究院(NIH)及新資助夥伴宣佈擴大 Virtual Biology Initiative,合共投入 $1.8 billion,涵蓋資金、數據、運算資源及新測量技術,以建立供研究界使用的開放生物數據資源。
OmniCapBench 將視聽字幕評測重構為深度結構化診斷框架,並將評測目標由自由文本改為可驗證的原子單位。框架涵蓋實體指涉、視覺鏡頭和音訊事件三個評測軌道,並以 786 段密集標註影片評估模型。評測顯示,前沿多模態大型語言模型局部感知能力強,但長時程視聽推理較弱,尤其在身份漂移和跨模態錯配方面。
GPD(Geometry-Privileged Distillation)以幾何線索作為 on-policy self-distillation 的特權,提升視覺語言模型的空間推理能力,部署模型仍只使用 RGB 輸入。
OneSearch-VL 提出以 Visually Grounded Evidence Graph(VGEG)為核心的統一多模態深度研究智能體,涵蓋單圖、多圖及影片研究。
SpatialOPSD 透過 on-policy 自我蒸餾,利用已驗證的編碼智能體執行軌跡,把空間推理內化至無需外部工具即可運作的獨立多模態大語言模型(MLLM)。
ViSkill 以視覺技能卡記錄成功互動,讓 VLM 智能體在推理和獎勵塑形時使用技能,並將成功軌跡回饋至技能庫,形成閉環學習。ViSkill 在 Sokoban、FrozenLake 和 PrimitiveSkill 上的整體成功率為 0.89,加入冷啟動初始化後升至 0.91,並勝過所有受評估的專有及開源基準模型,收斂速度亦快於標準 PPO。
SpaceCast-Bench 評測視覺語言模型的預測性空間推理能力,涵蓋 182 個真實場景、3,862 條問題及 16 種任務。對 21 個模型的評測中,最佳模型得分為 58.0%,低於人類的 87.2%;以程式生成數據微調後,Qwen3-VL-4B 的得分由 34.0% 升至 65.7%。