機械人基礎模型與 VLA——第 04 章:視覺語言行動模型 [KR]
VLA 模型以視覺、語言及其他感測訊號為輸入,將多模態理解轉化為可執行的機械人行動,補足 VLM 只理解環境、但不直接指定動作的限制。VLA 訓練以包含觀察、指令和對應行動的機械人軌跡為基礎,並須利用時間脈絡反映任務進展。實際系統可採用分層架構,讓基礎模型預測與軌跡生成器、運動規劃器、控制器及安全機制協作。
VLA 模型以視覺、語言及其他感測訊號為輸入,將多模態理解轉化為可執行的機械人行動,補足 VLM 只理解環境、但不直接指定動作的限制。VLA 訓練以包含觀察、指令和對應行動的機械人軌跡為基礎,並須利用時間脈絡反映任務進展。實際系統可採用分層架構,讓基礎模型預測與軌跡生成器、運動規劃器、控制器及安全機制協作。
機械人視覺語言模型(VLM)連結視覺感知與語言表徵,讓機械人以語義理解場景,並將指令連繫至畫面中的物件及關係。VLM 可運用大型圖文數據集預訓練所得的知識,但物件識別不等於掌握深度、受力或可達性,因此通常須配合幾何感知、狀態估計及物理世界模型。
機械人基礎模型旨在減少傳統任務專用系統的開發成本與知識重用限制,透過多任務及多環境數據學習可重用的通用表徵。這類模型需要整合視覺、語言、幾何、時間及動作資訊,並將觀察、指令、推理與行動連接起來,逐步從視覺語言理解邁向 VLA。其目標亦包括提升跨任務、環境及不同機械人形態的適應能力。
Qwen3.7-Plus 入門教程拆解其多模態 Agent 能力、底層架構及 API 調用方法,涵蓋文本、圖片和影片輸入、工具調用與 GUI 操作。模型上下文窗口最高支援 100 萬 token,並提供上下文緩存;當前版本不支援自訂微調。教程亦提供 Python 和 curl 調用示例。
Qwen3.8-Flash 採用 MoE 架構及 GDN+QSA 混合稀疏注意力,原生支援百萬 token 上下文;在百萬上下文場景下,文件預填充速度提升 7 倍以上。模型兼容 OpenAI 與 Anthropic API 協議,並提供雲端 API 呼叫及開源權重本地部署方案。
Qwen3.8-Max 詳盡指南拆解其多模態能力、長週期 Agent 任務及程式碼接入流程,並説明模型架構、調優策略與業務場景。模型總參數量為 2.4萬億,推理時動態啟用 950億參數,支援 100萬 Token 上下文窗口。開發者可透過百煉平台 API 調用,亦可使用開源權重作私有化部署。
研究團隊提出多模態概念透鏡 MC-Lens,分析視覺語言模型如何讀取概念、選擇性存取資訊,並將其用於後續計算與推理。實驗顯示,可靠的選擇性存取比概念可讀性較晚形成;不同模型家族和規模的模型則呈現共同的概念可讀性、依查詢而變的選擇性,以及跨任務介入效應。
Zhe 提出歌曲生成輸入的結構化寫法,建議把需求拆成風格規格、歌詞段落圖和生成前限制紀錄,而非混寫成一段文字。風格規格列出曲風、情緒、樂器和人聲特徵,歌詞則用 [Verse]、[Chorus] 等系統支援的標籤標示段落;每次重跑只改一個欄位。文中亦整理各模型的點數、生成數量與時長,以及方案授權條件,並提醒這些頁面資訊應重新核對,並非作者實測或基準結果。
HiUni 探索將預訓練視覺語言模型擴展為統一多模態模型,讓同一個語言對齊 ViT 和 dense Transformer 主幹同時支援視覺理解與生成,並將任務專屬計算限制在輸出端。模型以 Pixel Diffusion Head 優化像素空間生成,並透過輕量 HiGate 路徑補充合成所需的細緻空間資訊。實驗顯示,HiUni 的平均理解評分與預訓練視覺語言模型相若,圖像生成和編輯表現具競爭力。
Practical 使用 Presage SmartSpectra SDK,將筆電鏡頭化作學生進行呼吸、心跳及脈搏實驗的生理實驗室,並以手腕脈搏計數校驗鏡頭測量。五次有效脈搏檢查的結果均與手腕計數相差不超過 2.5 bpm,平均差異為 1.5 bpm。遇上畫面有多張人臉等問題時,程式會拒絕顯示讀數。
星辰智算(SentiMind)宣佈獲京師中教數百萬元人民幣戰略投資,資金將用於推進 Senti-OS 在教育及健康場景落地,並迭代多模態認知模型。端側認知調度系統 Senti-OS 搭載 1–3B 輕量化模型,可評估大模型輸出的認知負荷並校驗物理可行性。
HKGAI 雪巍教授團隊聯同 Dolby Laboratories 發表的空間音訊研究論文,獲 ACM MM 2026 最佳論文獎。論文提出 StereoCodec、StereoGen 及 StereoCLAP,讓模型按文字生成具左右方位及動態軌跡的立體聲音訊。這項技術可降低 AI 影視、動畫及遊戲的後期製作門檻,並為多模態世界模型提供技術支點。
DailySafe 是一項評測多模態大語言模型能否在日常多輪互動中追蹤安全風險並提供合適協助的基準。它包含 195 組自然情境的多輪、多圖片互動,涵蓋 10 個日常領域及 42 類任務。DailySafe 已公開,並以個案安全標註評估模型在支持用戶正當目標的同時,能否識別及應對逐步浮現的風險。
作者在 WorkBuddy 使用 Hy4 flash,搭配倉頡 Skill 和 video-downloader Skill,實測將一段 45 分鐘訪談影片蒸餾為 Skill,耗時 9 分鐘。Hy4 flash 在 WorkBuddy 提供免費額度,文章亦展示它迭代製作遊戲,以及從長截圖提取文字的測試。
VLA 的控制帶寬上限受整條鏈路的絕對延遲限制,提高推理頻率只能減少半個控制週期的滯後。在 150 毫秒鏈路、5 赫茲控制下,等效滯後為 250 毫秒,2 赫茲處的相位滯後為 180 度;鏈路降至 97 毫秒並以 10 赫茲控制後,等效滯後為 147 毫秒,2 赫茲處的相位滯後降至 106 度。
EgoCaptioner 以影片整體概述及帶時間戳記的步驟描述,改善第一人稱視角影片描述的細節與時間對齊。研究團隊從八個第一人稱視角影片來源整理出 50,000 個訓練例子,並以 Group Relative Policy Optimization(GRPO)引導描述修訂。
WeMM-Video 論文提出一系列中英雙語全模態基礎模型,涵蓋 2B、4B、9B 及 35B-A3B,整合文字、圖像、音訊和影片處理,並支援快速回應及逐步推理模式。
論文提出 TuringSpace,一個包含 125 個互動式 CAPTCHA 的合成網頁環境,透過點擊和拖曳測試多模態模型的五種空間能力。人類成功率為 94.1%,表現最佳的模型 GPT-6 Astra 仍有 25.9% 的任務失敗;最佳開放權重模型 Kimi K3 則有 68.0% 失敗。
Depth Pro 2 提出單一可擴展網絡,以原生解像度為圖像及影片估算稠密度量深度,兼顧度量準確度、邊界清晰度和時間一致性,並在這些方面超越以往方法。團隊發布了一系列模型,在度量準確度、清晰度、時間一致性及運行時間方面開創新的 Pareto 前沿,並提供程式碼和權重。
Kimi-K3 定位為面向長程編程、知識工作及推理的旗艦模型,最大輸入和輸出均為 1,048,576 Token,並已上架阿里雲百煉。它採用 KDA 混合線性注意力與注意力殘差,支援原生視覺理解,但只有思考模式。華北2(北京)/全球的輸入、輸出及快取命中價格分別為 20、100、2 元/百萬 Token,且沒有免費額度。
商湯聯合創始人、首席科學家林達華表示,公司至今仍把20%的資源投向沒有產品出口的預研,並以空間智能等方向探索長期競爭力。他指出,空間智能任務中增加數據曾令模型表現更不穩定,單靠擴大數據和參數未必能解決問題。他以Seedance的30秒影片片段對照Seko的100集短劇創作流程,並透露Seko今年用戶增長7到8倍,平台已有播放量過億的短劇。
DeepSeek-V4.1-Flash 是一款 552B MoE 模型,已在阿里雲百煉上架;其架構、基準表現、適用場景及計費方式均有詳細説明。它在多項編程、終端及自動化基準上的表現高於 V4-Pro,但知識問答類表現略低;上下文窗口為 1M,最大輸出為 384K。快取命中輸入價為未命中的 1/50,阿里雲百煉與 DeepSeek 官方的忙閒時段定義不同,排產須按調用入口區分。
阿里雲 Qwen3.8-Max 定位為面向複雜任務和智能體開發的旗艦基座模型,提供按量 API 及 Token Plan 訂閲兩種使用方式。模型採用 2.4萬億參數 MoE 架構,支援百萬 Token 上下文及文字、圖片和影片輸入,並面向編碼、文件處理和工具編排等場景。
阿里雲通義萬相 Wan3.0‑Video 支援文生、圖生及參考生影片,單次最長生成 30 秒,並可接收文字、圖像、影片、音訊、辦公文件和網頁連結作為輸入。模型透過阿里雲百煉異步 API 提供服務,邀測階段須申請且暫未開源;費用按成功生成時長及解像度計算,生成內容須經人工審核。
研究團隊開發 TRACER,結合 ICU 牀邊影片與電子健康紀錄追蹤患者活動變化,協助醫護及早識別譫妄徵兆。系統每分鐘抽樣15類「原子動作」,再整理成逐小時報告;測試中動作偵測準確率為85%,醫師查詢答對率為61%。在280名 ICU 患者中,譫妄篩查呈陽性者的「目的性活動」較少;研究團隊表示,TRACER 未使用患者資料訓練。
火山引擎於11月19日推出豆包 SeedRealtime 1.0 即時音訊及影片通話模型 API 服務,支援多模態即時互動。模型融合聲音、畫面、時序與表達,具備持續環境感知及主動表達能力。相較依賴 ASR、VLM、TTS 等模組串聯的方案,模型可顯著降低延遲與資訊損耗,並能識別説話對象、消解同音歧義及理解視覺時序指代。
OpenAI 已開始訓練 GPT-5,目標是在 GPT-4o 的基礎上取得重大進展。文章指出,下一代模型可能改善效率、微調、遷移學習、多模態能力及上下文窗口,但這些升級仍屬推測。
AI 研究者主張,AI 下一步的擴展不應只靠增加訓練數據,而要建立能模擬現實的世界模型。JEPA 透過預測抽象表徵,學習世界結構而非表面細節;Sora 等影片生成模型則展現了從預測轉向模擬的早期跡象。未來成效將取決於模擬保真度及預測環境未來狀態的能力。
MEOMURU 的《你成為夢想中的大人了嗎?》登上韓國 Melon TOP100 榜首,成為首支奪冠的 AI 輔助製作歌曲。歌曲於今年6月發行,11月13日登頂,播放量突破2290萬次,並長時間位居榜首。歌曲使用 Suno 製作,作曲家和製作人組成的團隊負責整體策劃、作詞及全流程監製。
商湯至今仍將20%的資源投入沒有產品出口的預研工作,林達華認為,長期競爭力來自沿着有價值的方向持續深入,而非跟風拼手速。商湯的Seko今年用戶增長了7到8倍,平台上已有播放量過億的短劇。
Magnus 比較 Gemini 4 Argon、Carbon、Hydrogen 和 Neon 的公開評測,分析推理、編碼、多模態任務及每項通過驗收結果的成本。
阿里雲百煉平台上線 Qwen4-Max 預覽版,並將其接入 Token Plan 訂閲體系;新用戶首購套餐可享5折優惠,至11月30日。Qwen4-Max 支援文字、圖像理解、工具調用、聯網搜尋及結構化輸出,適用於複雜文檔解析、代碼開發和智能體任務。預覽版目前只可透過 Token Plan 調用,不開放單獨按量計費;Lite 套餐折後每月19.5元,含20000 Credits。
阿里雲 Qwen4-Max 指南整理預覽版的核心功能、適用場景及 Token Plan 收費,並介紹免費額度和訂閲折扣。預覽版支援 1M Token 上下文窗口及文本、圖片、影片輸入,面向複雜編程和長鏈路智能體任務。
Qwen4‑Max 預覽版相較 Qwen3‑Max,差異集中在任務定位、原生多模態、智能體動作範圍、發布流程及訂閲計費五方面。預覽版透過 Token Plan 訂閲 Credits 調用,不開放按量計費,並會於 11 月 25 日下線。文章指出,參數量、上下文窗口、完整基準跑分、開源規劃及正式版定價尚未由官方公佈,其他 Qwen4 型號的測試成績不能代表 Qwen4‑Max 的表現。
PurrTrack 在既有 Flutter 手機 App 旁建立 React + Firebase 網頁 SaaS,讓兩個客戶端共用 Firebase 後端及同一會員訂閲。
電腦視覺與多模態 AI 可協助評估患者的用藥操作技巧,辨識示範中可觀察到的步驟偏差,並提供清晰易懂的教育回饋。系統可結合裝置專屬知識庫、視覺評估模型及受臨牀規範限制的回饋組件;如評估不確定或發現重要錯誤,應轉交藥劑師或臨牀人員跟進。系統須按裝置類型及預定用途接受臨牀驗證、保障患者影片資料私隱,且不得自行更改藥物劑量或建議更換裝置。
Qwen4-Max 預覽版於 2026 年 11 月 11 日發布,經 Token Plan 首發接入,並同步登陸千問辦公、Qoder、千問 App 與 QwenStudio。
阿里雲千問(Qwen)四款熱門模型各有定位:qwen3.8-max 主打全模態與智能體,qwen3.7-max 專注純文本推理,qwen3.8-flash 和 qwen3.7-flash 則面向不同成本與能力需求。四款模型輸入價格為每百萬 Token 0.3 元至 12 元,均提供 Batch 半價及 Token Plan;新用戶每個模型可獲 100 萬 Token 免費額度,有效期 90 天。
Tencent Hy4 現已可透過 Together AI 的無伺服器及專用端點執行,並支援文字與圖像輸入。模型提供 1M-token 上下文窗口,每 1M 個輸入 token、輸出 token 及快取輸入 token 分別收費 $0.83、$2.50 及 $0.042。文章亦展示 Hy4 從圖表截圖擷取 JSON 數據並重建 HTML 圖表,以及按單一提示詞寫出瀏覽器遊戲。
阿里雲大模型能力體系以分層架構整合多模態模型、統一接入與計費平台、應用方案及彈性算力,支援企業構建 AI 應用。千問 AI 平台-Token Plan 統一模型接入和 Token 計量,函數計算 FC 則以彈性算力支援推理;應用模板和行業方案封裝提示詞工程、上下文管理及工具調用編排等共性工作。