Google Gemini 模型原理演進史
Google Gemini 家族從 BERT、T5、PaLM 的技術基礎,演進至原生多模態、長上下文、推理能力與生態整合。Gemini 1.5 支援 100 萬 token 上下文,Gemini 2.5 Pro 展示 Thinking 模式,Gemini 2.0 加入 Agent 能力。文章亦梳理 Gemini 3 至 3.8 Flash 系的迭代與各項技術主線。
Google Gemini 家族從 BERT、T5、PaLM 的技術基礎,演進至原生多模態、長上下文、推理能力與生態整合。Gemini 1.5 支援 100 萬 token 上下文,Gemini 2.5 Pro 展示 Thinking 模式,Gemini 2.0 加入 Agent 能力。文章亦梳理 Gemini 3 至 3.8 Flash 系的迭代與各項技術主線。
OpenAI GPT 家族從 GPT-1 演進至 GPT-5.6,路線涵蓋模型規模擴大、對齊技術制度化,以及由文字生成拓展至多模態、推理和工具使用。GPT-3 達 1750 億參數,InstructGPT 展示 RLHF 對齊效果,GPT-5 在 SWE-bench 得分 74.9%。整體演進亦包括原生多模態、測試時擴展與 Agent 能力。
本篇梳理多模態與 Agent 的發展,説明模型如何由理解圖文、回答問題,進一步透過工具執行任務。CLIP(2021)以圖文對比學習,讓視覺與語言在同一向量空間對齊;原生多模態模型則以圖文聯合數據預訓練。Agent 結合工具呼叫、規劃與反思,以及環境交互循環,從單一任務延伸至多 Agent 協作和常駐運作。
泰達控股黨委書記、董事長楊傳勝一行到訪德力凱,雙方就深化腦機接口產業合作、加快戰略協同達成共識。德力凱產品已覆蓋全國超25000家醫療機構,並進入全球50多個國家和地區。德力凱計劃以天津作為腦機接口產業的重要支點,與深圳形成協同。
InferenceKey 在 48 GB A40 上以 llama.cpp 部署 NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB,啟用圖像讀取器和 drafter 時約用 27 GB。
阿里雲入選 Gartner 首份《生成式 AI 模型提供商魔力象限》報告的領導者象限,是唯一入選該象限的中國企業。文中稱,千問(Qwen)系列涵蓋端側、私有化部署至雲端,並提供原生多模態及開放權重模型。Gartner 聲明,該報告不代表其認可任何供應商、產品或服務,也不建議科技用戶只選擇獲最高評分或其他稱號的供應商。
AI 影片分析可利用哥倫比亞工地現有 CCTV,即時監察高空作業區,改善防墮保護及風險監測。系統可標示高空作業時未佩戴安全帶、邊緣開口、缺少護欄及未按有效許可證作業等情況,並即時通知安全團隊。這有助支援《2021 年第 4272 號決議》要求的持續監察。
蘋果正式發佈首款配備觸控屏幕的 OLED MacBook Pro,打破延續 20 年的「不觸控」設計原則。文章稱,OLED 相較 Mini-LED 在對比度、響應速度和功耗方面具結構性優勢。文中亦把觸控和手勢視為在 Mac 運行本地大模型、以自然語言與智能體協作時更直接的輸入方式。
AI 網球賽事戰技法分析系統融合多目高速視覺、IMU 傳感及邊緣與雲端算力,構建涵蓋感知、分析和推演的全鏈路平台。系統運用 ST-GCN、GNN 與多模態大模型量化技術動作、分析戰術意圖,並提供 3D 數字孿生沙盤及強化學習模擬對抗。教練可透過自然語言檢索賽事資訊,並以移動端和平板看板取得決策依據。
XREAL 宣佈旗下 XREAL AURA Android XR 智能 AR 眼鏡在海外正式發售,售價 1,099 美元起,首批產品預計 11 月中旬開始出貨。
生成式引擎優化(GEO)以提升品牌資訊在大模型答案中的理解、採信及引用為目標,能力體系涵蓋診斷、實體治理、信源建設、內容生產、多模型適配及監測迭代六個模組。報告指出,GEO 有別於以網頁排名為核心的傳統 SEO,重視實體一致性、多源交叉驗證和內容可信度。落地流程包括多模型診斷、統一品牌資訊、建設信源、結構化內容生產與持續監測。
雷鳥iO在雙11優惠及國家補貼後到手價為1911.74元,主打全天智記的AI眼鏡。它搭載千問3.7 Max和DeepSeek V4 Pro,可整理對話重點、待辦及約定時間,並提供四層私隱架構。眼鏡重34克,近視人士亦可配度數使用。
Google 發佈新一代世界模型 Genie 4,用戶可生成虛擬場景並即時探索互動,相關技術可望應用於電影製作、遊戲開發及機械人訓練。Genie 4可透過自然語言即時修改場景,提升物理模擬與人物動作的真實感,並原生生成環境音效及互動對話,結合 Gemini 模型處理複雜事件。
騰訊混元宣佈 Hy4 即將發布;相較 Hy4 preview,Hy4 全面提升,並首次引入視覺理解能力。Hy4 flash 亦將於近期發布,主打性價比,並在承接 Hy4 的視覺及 Agent 能力之上,透過模型與產品深度 Co-Design 高頻進化。今年8月發布並開源的 Hy4 preview 總參數為 770B、激活參數為 49B,上下文長度突破 1M。
騰訊宣佈 Hy4 即將發布;相較 Hy4 preview,Hy4 大幅提升長程及真實生產力任務能力、思維鏈效率,並首次引入視覺理解。Hy4 flash 亦將於近期發布,提供高性價比模型,並具備視覺及 Agent 能力。Hy4 preview 於今年 8 月 28 日發布並開源,總參數 770B、激活參數 49B,上下文長度突破 1M。
騰訊混元即將發布 Hy4 及 Hy4 flash;Hy4 相比 Hy4 preview 全面提升,並首次引入視覺理解,亦提升思維鏈效率及長程和真實生產力任務能力。Hy4 flash 近期推出,提供高性價比實用模型,並以模型和產品深度 Co-Design 推動高頻進化。
騰訊宣佈 Hy4 即將發佈;相比 Hy4 preview,Hy4 全面提升,尤其加強長程及真實生產力任務能力、提升思維鏈效率,並首次引入視覺理解。Hy4 flash 亦將於近期發佈,提供高性價比實用模型,並在承接 Hy4 的視覺及 Agent 能力基礎上,透過模型與產品深度 Co-Design 高頻演進。
多模態語言模型在多步視覺推理中的失誤,可能源於語言未能連結相關視覺物件、區域或位置的「參照落差」,而非視覺感知不足。研究提出 ReGap-Bench,涵蓋五項視覺推理任務;結果顯示,配合任務的外部參照可在無需訓練下令準確率提高最多 25%,不匹配的參照則助益甚微,甚至會降低表現。
《等你平安歸來》是一部 60 集閩南語短劇,並獲第四屆上海國際AIGC創新大賽最佳短劇劇本獎;文章拆解以阿里雲函數計算 FC、百煉大模型、ComfyUI、AnimateDiff 和 OSS 搭建 AIGC 短劇生產管線的做法。管線涵蓋結構化劇本、跨集角色一致性、方言 TTS 校準、GPU 彈性渲染及 60 集資產治理,可供政企文旅和博物館展陳場景參考。
Día de los Muertos Photo Booth 是一款本機 Flask 網頁應用程式,可為照片中的人臉自動添加亡靈節主題裝飾。應用程式使用 MediaPipe 本機偵測人臉,並隨機套用八種主題之一,支援 JPEG 和 PNG。所有處理均在本機記憶體中完成,沒有外部 API,照片不會上傳至第三方服務。
Qwen3.8-Flash 使用指南涵蓋百萬 Token 長文處理、程式開發實戰及 API 接入。文章列出原生 100 萬 Token 上下文、標準輸入 991,808 Token、輸出 131,072 Token,以及每次推理激活 6B 參數等規格。模型兼容 OpenAI 與 Anthropic 協議,指南亦説明 API 調用、免費 Token 額度及按量計費。
EmbeddingGemma 2 可把文字、圖像、影片及音訊映射至同一個 768 維向量空間,讓 FiftyOne 以文字或其他媒體跨模態搜尋影片。教程以 VGGSound 的 10,000 段影片建立影片、音訊及視聽三個 LanceDB 索引,並示範跨模態檢索、片段整理和零樣本分類。
Harpreet Sahota 示範如何把一段 Aria Digital Twin(ADT)錄製及其地面真值資料整合成同步 MCAP,並載入 FiftyOne 多模態檢視器。
作者以 FiftyOne 對包含 27,083 張圖像、352 類標誌的 QMUL-OpenLogo,實測 Qwen3.8-Max 的視覺定位表現。結果顯示,邊界框定位會隨思考模式和圖像細節設定大幅波動;相同輸入和設定亦曾出現 3/5 與 0/5 匹配,模型並會混用像素、0–1000 網格及 [0,1] 座標。
Harpreet Sahota 提出一套在訓練前分流多模態機械人資料集片段的方法,並以 FiftyOne 的 Episode Quality panel 和 operator 實作端到端評分。
MiniMax-M3 可透過 minimax-m3-fiftyone 插件接入 FiftyOne App,對圖像及抽樣影片執行標註、搜尋和問答等任務。插件無需微調或自建模型伺服器,會以提示詞要求固定格式 JSON,再轉成 FiftyOne 標籤;影片則透過抽取影格處理。文章亦提及 MiniMax 宣佈約 HK$16 billion(約 $2B)的私募配售及可轉換債券融資。
FiftyOne 1.19 現可原生開啟 MCAP 檔案,並在同一播放時間軸同步呈現相機、LiDAR、GPS、IMU 和日誌,無須安裝 ROS。作者以 TreeScope 的 10 段 UAV 飛行記錄示範,其中一段約 4.5 分鐘的自主飛行含 31 個頻道及 599,698 則訊息;未能解碼的頻道仍可在 Message tile 以原始記錄檢視。
KITScenes Multimodal 的 FiftyOne 建置把每個駕駛時刻的九部相機、融合七部 LiDAR 與三部雷達的點雲,以及 HD 地圖整合在同一 group id 下,讓每個時刻成為一個樣本。
作者以 FiftyOne 載入並探索 Hugging Face 上的 Voxel51/motor_two_wheel_rider,這是 MOTOR 完整語料的 324 段子集。
文章示範將 GLM-OCR 整合至 FiftyOne,建立可抽取文件文字、公式、表格及結構化資料的 AI 文件理解流程。GLM-OCR 提供 text、formula、table 和 custom 四種模式,可透過提示詞按自訂 JSON schema 擷取資料;文章亦示範批次推理、結果視覺化與 JSON 品質檢查。
LightOnOCR-2-1B 是一款 1-billion-parameter 視覺語言模型,在 OlmOCR-Bench 取得最高分,體積比此前表現最佳的模型小 9 倍。模型在 H100 GPU 上每秒處理 5.71 頁,並採用端到端架構處理複雜版面、多語言內容及科學記號。模型以 Apache 2.0 授權釋出,團隊亦公開訓練數據集及 LightOnOCR-bbox-bench 評測套件。
研究分析34個多模態模型後指出,所謂零樣本表現可能來自模型在預訓練期間接觸過相關概念,而非真正的泛化;概念在預訓練資料中出現的頻率,能有力預測模型表現。研究發現,概念頻率與零樣本表現呈對數線性關係,模型需要指數級增加訓練資料,才能取得線性表現提升。測試包含290個罕見概念的「Let it Wag!」數據集時,受測的50個CLIP模型表現均遜於ImageNet。
SPIQA 是面向科學論文理解的大規模數據集,納入論文全文、圖表及相關説明文字,以支援多模態科學 VQA。數據集涵蓋超過 25,000 篇論文、150,000 張圖及 117,000 個表格。研究團隊結合 LLM 自動生成問題與專家人工篩選,89% 的 LLM 生成問題在人類評估者眼中與人工撰寫的問題難以區分。
本月 Elorian 推出首個視覺推理模型 Glimpse,並與 Mercor 發布 DecoyCount 基準測試,檢驗模型是否真正計算物件數量,而非依賴視覺捷徑。Glimpse 在 1,660 題中取得 50.48%,GPT-6 Astra 為 43.17%;前者成績來自單次測試,後者數據為三次測試平均。
XREAL 宣佈旗艦 AR 眼鏡 1 Pro+ 現已發售,售價 $599。產品提供高畫質顯示及空間視覺體驗。
Guitoro 是一款可用鍵盤彈奏的虛擬結他,在 Hacker News 排名第 11,獲得 562 分。文章以 Guitoro 為引子,介紹 Seven Sports 開發的 Meta Quest 應用程式 Amblyotube,如何把 YouTube 影片轉化為弱視人士的雙眼視覺協調訓練。應用程式以 VR 雙屏幕分別調整兩眼所見,並用 AI 辨識影片中的人物、加上視覺提示。
Google 本週推出 Gemini 4 Carbon 和 Genie 4 兩款新 AI 模型,前者主打協助網絡安全專家偵測及修補漏洞,後者是可模擬真實與想像物理世界的世界模型。
作者打造 iOS 應用程式 Lupita,可從 TikTok、Instagram Reel 或 YouTube 烹飪影片連結擷取食材及克數,並按用餐人數調整份量,將食譜離線儲存到手機。
Google 正把 Gemini 從文字問答延伸至互動視覺化、3D 模型及沉浸式工作流,Gemini app 的互動模擬正向全球用戶推出。這些模擬可讓用戶調整輸入並觀察模型變化,但 Google 早期發布資料指出,Education 和 Workspace 帳戶當時未能使用該功能。
WorldFlow 是生成式世界模型,透過連續位移 token 與 Mixture-of-Transformers(MoT)骨幹,聯合預測未來影片和 3D 軌跡。在 SpatialCog 評測集上,其 ADE 為 0.060 m,較最強外部基線降低 54.2%;相較僅使用 flow 的變體,ADE 和 FDE 分別降低 55.9% 和 68.5%。