上下文學習如何透過單次前向傳播完成適應,而不更新任何權重
上下文學習讓語言模型只靠提示詞中的示例,在不更新權重的情況下,透過一次前向傳播推斷任務並回答新查詢。文章以線性回歸説明注意力如何實現近似學習算法,並以貝葉斯推斷解釋預訓練形成的先驗。示例順序、標記噪音及提示詞長度都會影響表現,這種適應不會跨提示詞持續;文章建議把提示詞視為小型數據集,並測試不同變化。
上下文學習讓語言模型只靠提示詞中的示例,在不更新權重的情況下,透過一次前向傳播推斷任務並回答新查詢。文章以線性回歸説明注意力如何實現近似學習算法,並以貝葉斯推斷解釋預訓練形成的先驗。示例順序、標記噪音及提示詞長度都會影響表現,這種適應不會跨提示詞持續;文章建議把提示詞視為小型數據集,並測試不同變化。
DeepSeek 在 GitHub 開源 DeepInfer,作為 DeepSeek-V4.1-Flash 背後的推理引擎,現時提供離線推理能力。
Anthropic 已提交赴 Nasdaq 上市的 S-1;The Verge 的 Decoder 訪問 SemiAnalysis 分析師 Joey Brookhart,拆解文件呈現的財務狀況及 AGI 商業前景。
推薦理由:訪談把 Anthropic 的推理毛利、算力承諾與 AGI 訓練投入放在同一脈絡,呈現其增長敍事背後的財務邏輯與假設。
vLLM 宣佈在 Mistral Large 4 發佈首日提供支援,並涵蓋 NVIDIA、AMD Instinct MI350 Series 及 TPU v7x 部署。
Mistral AI 發佈改進版 Mistral Large 4(Le Chonk)的開放權重;這款 1-trillion-parameter 原生多模態模型提升了編碼、防禦性網絡安全及推理效率。
推薦理由:文章把編碼基準成績與 tokens 使用效率並列,並交代開放權重模型的自託管及企業託管服務選項,呈現能力比較與部署方式。
Ollada 提供在本機執行開放式擴散語言模型的工具,並只列出已實際運行及測量的模型。目前列出 diffcoder:8b、dream:7b、sdar:4b、sdar:1.7b 和 NVIDIA 的 nemotron:3b;在 16GB RTX 5060 Ti 上,DiffCoder、Dream、SDAR-4B 分別測得 13.65 GB、9.13 GB 和 8.34 GB。
Mistral 已為 1 萬億參數的 Mistral Large 4 發佈開放權重;模型每項任務啟用 520 億個參數,可讀取文字和圖像,並生成文字及程式碼。
推薦理由:文中比較編碼與網絡防禦基準的得分,並列出每項編碼任務的 token 用量差異,呈現 Mistral Large 4 的測試表現。
Momenta預告即將發布R7 Ultra,其模型參數規模增至原來的5倍,安全性能表現提升5倍。X7 Ultra提供700 TOPS大模型算力,支撐更大規模模型在車端運行;R7 Ultra在多種複雜駕駛場景展現出媲美甚至超越人類資深司機的能力。Momenta表示,未來將把模型參數規模擴至原來的10倍,並推動安全性能表現提升至10倍以上。
作者在配備 i7-1165G7、12 GB RAM、沒有獨立 GPU 的 HP 手提電腦上運行 8B Llama-3(Q4_K_M),新對話生成速度達 6.1–6.5 tokens/sec。
OpenAI 宣佈其模型產生了一份反駁指數時間假説(ETH)的證明;數小時後,Anthropic 也發布了對同一假説的反駁。Anthropic 數學家 Levent Alpöge 暗示 OpenAI 的結果建基於既有研究,並將 Anthropic 的證明定位為獨立成果。
熵旋芯智提出首代MRAM存內計算架構MITA,並以此定義存算一體處理單元MPU,瞄準AI推理的低延遲與高通量。公司資料顯示,同等製程下,MRAM的存儲密度可達SRAM的約2到4倍,且具非易失特性。熵旋芯智首款產品面向雲端大模型FFN計算,計劃明年3月流片、6月回片。
XHEART 新芯航途發布智駕大模型芯片 X7 Ultra,大模型算力達 700 TOPS,並首發量產 Armv9 車規級 CPU。該芯片量產模型實測 99.99% 對齊,計算利用率達 98.7%;相比行業旗艦產品,內存帶寬消耗下降 80%、能效提升 100%。
大曉機器人近日推出 ACE-Brain-0.6 API,開發者可透過 ACE Hub 調用模型的空間錨定能力,毋須獨立部署。模型的高質量空間錨定訓練數據由 110萬條擴展至約150萬條,七項公開 Grounding 基準平均得分提升至 75.41。報道指其推理速度超越 GPT-6 Astra,並在七項公開 Grounding 基準的平均得分上擴大領先優勢。
康奈爾大學教授 Steven Strogatz 認為,AI 已能處理複雜數學問題所需的繁重工作,數學家應培養個人魅力,藉此突顯自身特色。數學教育者 Grant Sanderson 也表示,未來的數學博士不會單靠解題能力與他人區分。
Momenta 宣佈即將發布 R7 Ultra 世界模型,其參數規模擴大至原來的 5 倍,安全性能表現提升 5 倍。XHEART 新芯航途 X7 Ultra 提供 700 TOPS 大模型算力,支援更大規模模型在車端運行。
Momenta 發佈 R7 Ultra 世界模型,作為初代 R7 的增強版本,專門配套 XHEART X7 Ultra 大模型智駕晶片。相較 R7,R7 Ultra 的模型參數量及安全性能均提升 5-10 倍,並在模型內虛擬復刻路況,生成極端場景進行仿真試錯。X7 Ultra 晶片算力達 700TOPS,官方實測 NPU 利用率可達 98.7%。
Momenta 宣佈即將發布 R7 Ultra 世界模型,參數規模擴大至原來的 5 倍,並稱安全性能表現提升 5 倍。XHEART 新芯航途 X7 Ultra 提供 700 TOPS 大模型算力,支援更大規模模型在車端運行。Momenta 表示,未來將把模型參數規模擴大至原來的 10 倍,並推動安全性能表現提升至 10 倍以上。
新芯航途新一代 X7 Ultra 車規級大模型晶片正式亮相,Transformer 量產大模型計算利用率達98.7%。在大模型性能相當的條件下,其記憶體頻寬消耗較行業旗艦產品降低80%,推理能效提升100%。
新芯航途在新品發佈會披露,X7 Ultra 大模型智駕芯片的 Transformer 量產大模型計算利用率達 98.7%。在大模型性能相當的情況下,與同級行業旗艦產品相比,內存帶寬消耗下降 80%,推理能效提升 100%。
文章總結神經符號與 Agent 通用框架,提出神經負責理解和生成、符號負責約束和驗證,並歸納出四種耦合模式。李航在 JCST 2026 提出的通用框架涵蓋任務導向、多模態輸入輸出、LLM 推理、強化學習構建,以及工具與記憶;框架適用於軟件 Agent 和機械人。
IDC《中國AI軟件市場半年度追蹤,26H1》報告顯示,2026年上半年中國MaaS市場規模達106.3億元,同比增長889.4%。PPIO是上榜企業中唯一的獨立MaaS服務商,在大語言模型MaaS市場排名第六;截至2026年9月,其平台日均Token調用量達3.4萬億,同比增長近20倍。報告指出,市場競爭正由成本轉向效率,模型生態、調度及推理效率成為競爭重點。
DeepSeekMath 7B 透過數學數據訓練及 GRPO 強化學習,在 MATH 基準取得 51.7%,接近 GPT-4 的 52.9%。其數據集收錄 35.5M 個數學網頁,約 120B 個 token;GRPO 不需訓練價值模型,以組內答案評分作為基線。Base、Instruct 及 RL 權重均已開源,程式碼採用 MIT 授權,權重可商用。
大語言模型推理能力由提示詞引導分步輸出,發展至可透過測試時擴展及強化學習訓練。Chain-of-Thought(2022)展示分步推理效果,OpenAI o1(2024)將更多思考時間用於推理,DeepSeek-R1(2025)則證明純強化學習可令推理能力湧現。R1 API 價格遠低於同級推理模型,蒸餾版涵蓋 1.5B-70B 小模型。
LLM 的理論演進由分佈式詞表示、Transformer 和預訓練,延伸至縮放定律、對齊、效率優化、推理、多模態與 Agent。文章按 00~06 梳理各階段的關鍵技術及因果關係,並以表示演進、架構收斂、規模與效率、對齊和能力外延總結發展主線。
DeepSeek-V3.2 系列以 DSA 稀疏注意力降低注意力複雜度,並支援思考模式下多輪調用工具。DSA 透過 Lightning Indexer 和 Top-k 選擇,把複雜度由 O(L²) 降至 O(L·k),並採用稠密預熱、稀疏訓練兩階段。文章還整理了 Agent 訓練所用的 1800+ 個環境、85,000+ 條複雜指令合成數據,以及超過預訓練成本 10% 的後訓練計算預算。
Google Gemini 家族從 BERT、T5、PaLM 的技術基礎,演進至原生多模態、長上下文、推理能力與生態整合。Gemini 1.5 支援 100 萬 token 上下文,Gemini 2.5 Pro 展示 Thinking 模式,Gemini 2.0 加入 Agent 能力。文章亦梳理 Gemini 3 至 3.8 Flash 系的迭代與各項技術主線。
OpenAI GPT 家族從 GPT-1 演進至 GPT-5.6,路線涵蓋模型規模擴大、對齊技術制度化,以及由文字生成拓展至多模態、推理和工具使用。GPT-3 達 1750 億參數,InstructGPT 展示 RLHF 對齊效果,GPT-5 在 SWE-bench 得分 74.9%。整體演進亦包括原生多模態、測試時擴展與 Agent 能力。
大模型的技術重心正由堆算力、擴大規模,轉向提升推理能力與數據質素。文章聚焦思維鏈、RAG 和 MoE 等方法,並指出模型幻覺、能耗、私隱及倫理問題仍待應對。作者認為,未來競爭可能更重視推理效率、可信度與評測方式。
韓國推理晶片初創公司 FuriosaAI 融資 $620M,將用於擴大節能 AI 處理器的生產。此輪融資令公司估值達 $2.9 billion,南韓 National Growth Fund 領投 $280 million;文中稱其 TCP 晶片功耗不到 Nvidia GPU 的一半,並兼容 PyTorch 和 vLLM。
摩爾線程發布2026年第三季度業績,單季營收達15.5億元,同比增長1773.9%,並錄得歸母淨利潤4926.0萬元,提前實現季度盈利。公司第三季度研發投入5.7億元,同比增長87.9%,前三季度累計研發投入13.4億元。基於S5000的PD分離異構推理方案已承接國內頭部模型廠商的實際 token 流量,公司亦與京東雲計劃建設十萬卡全功能GPU集羣。
韓國 AI 晶片初創公司 FuriosaAI 完成 6.2 億美元 D 輪融資,估值升至 29 億美元,接近上一輪的 4 倍。韓國國民成長基金投資 2.8 億美元,海外投資者合計出資 1.1 億美元,Infinitum Partners 等機構亦參與。台積電今年為 FuriosaAI 生產 2 萬顆 RNGD 加速器,公司計劃 2027 年將產量提高至 4 萬顆以上。
超衍智能於10月28日發布首個35B模型Apex-35B-V1.0,並將RSI引入模型研發,讓AI參與實驗設計及結果分析。公司公佈的評測結果稱,模型在研究能力、智能體與編碼、推理等多項評測中超越Flint,並在部分任務上超越參數規模達500B和800B的模型。
多模態語言模型在多步視覺推理中的失誤,可能源於語言未能連結相關視覺物件、區域或位置的「參照落差」,而非視覺感知不足。研究提出 ReGap-Bench,涵蓋五項視覺推理任務;結果顯示,配合任務的外部參照可在無需訓練下令準確率提高最多 25%,不匹配的參照則助益甚微,甚至會降低表現。
微納核芯宣佈已於近日完成超10億元 C2 輪融資,由建投投資領投,多家機構及多名老股東參與。本輪資金將用於產品開發迭代及供應鏈量產備貨,公司計劃近期實現規模商業化與量產銷售。連同今年9月完成的C1輪,公司兩個月內融資超20億元,半年內累計融資30億元;其主營存算一體AI推理芯片,面向大模型推理,並佈局端側與雲側產品線。
Nvidia 表示將向 Meta 的增資投資 $3 billion,並與 Meta 合作提升 Muse 系列 AI 模型的訓練與推理效能。Meta 同日宣佈將發售 250 million 股 A 輪存託股份,每股 $50,並發售價值 $25 billion 的 A 類普通股,每股 $625。
Google DeepMind 發佈 Gemini 4 Carbon,並以 59 分登上 Artificial Analysis Intelligence Index v5.0 榜首。它在 Terminal-Bench 4.0 得分 65.2%,Google 稱模型已能連續數天自主處理複雜軟件工程任務。Carbon 本週起先向少數網絡安全防禦人員提供,普通開發者和消費者的開放時間尚未公佈。
GPU Unlock 的社羣基準測試顯示,RTX 3090 Ti 在部分 AI 圖像生成工作負載中吞吐量最高提升 58.6%,但增幅取決於數值格式及硬件、軟件配置。
本月 Elorian 推出首個視覺推理模型 Glimpse,並與 Mercor 發布 DecoyCount 基準測試,檢驗模型是否真正計算物件數量,而非依賴視覺捷徑。Glimpse 在 1,660 題中取得 50.48%,GPT-6 Astra 為 43.17%;前者成績來自單次測試,後者數據為三次測試平均。
Kindo 推出 Deep Hat Sift,在大型模型處理前判斷哪些事件需要觸發 AI 智能體執行,目標是減少不必要的執行。產品初期以影子模式運作,所有事件仍交由智能體檢查,待人員審閲並批准閾值後才開始過濾。Sift 會抽樣送回原智能體判斷,並在品質下降時採用 fail-open,將事件交回智能體審查;Kindo 未提供通用節省比例或準確率基準。
Gemini 4 Carbon 在 Artificial Analysis Intelligence Index v5.0 得分 59,並提供提示詞快取 95% 折扣;文章據此分析其基準表現、成本和開發者部署取捨。