Sakana AI 推出整合 Namazu 與 Web 搜尋的聊天服務 Sakana Chat
Sakana AI 於 2026 年 3 月 24 日公開免費聊天服務 Sakana Chat,服務搭載日本情境適配的 Namazu α 版模型並整合 Web 搜尋。
Sakana AI 於 2026 年 3 月 24 日公開免費聊天服務 Sakana Chat,服務搭載日本情境適配的 Namazu α 版模型並整合 Web 搜尋。
NVIDIA 與 SGLang 團隊測試在 GB300 NVL72 上部署 DeepSeek-R1-NVFP4 的 128K/8K 推理,未啟用 MTP 時達到 226.2 TPS/GPU,較 GB200 高 1.53X。
DeepSeek R1 之後,中國開源 AI 生態正由模型擴展至部署、軟硬件協同與治理,開源成為中國 AI 機構近期的主流路徑。截至 2025 年中,逾 113k 個模型以 Qwen 為基礎,逾 200k 個模型倉庫標記 Qwen,遠多於 Meta 的 Llama(27k)和 DeepSeek(6k)。
SGLang 介紹面向超長上下文推理的流水線並行實作,結合分塊流水線並行、非同步 P2P 通訊和動態分塊。在 H20 集羣上,DeepSeek-V3.1 採用 PP4 TP8、12K 分塊預填充時,預填充吞吐量較 TP8 高 3.31×,較 TP32 高 30.5%,強擴展效率為 82.8%。
Ant Group DeepXPU Team 與 SGLang Team 介紹 Tensor R-Fork,透過 GPU-Direct RDMA 在運行中的 SGLang 實例與新實例之間零複製傳送模型權重。
朱嘯虎在訪談中談及 AI 產業泡沫、超級入口之爭,以及對 2026 年的投資預期。他認為三年內看不到泡沫,並指出市場低估了 DeepSeek。訪談亦討論英偉達和 OpenAI 是否仍值得投資,以及 AI 超級入口之爭將圍繞日活和使用時長展開。
DeepSeek 透過臨時端點提供 DeepSeek-V3.2-Speciale,收費與 V3.2 相同,且不提供工具呼叫。此服務提供至 2025 年 12 月 15 日 15:59(UTC)。
DeepSeek 將 deepseek-chat 和 deepseek-reasoner 升級至 DeepSeek-V3.2。deepseek-chat 對應非思考模式,deepseek-reasoner 對應思考模式。更新日誌:https://api-docs.deepseek.com/updates#deepseek-v32
節目與 MIT 在讀博士楊松琳討論人工智能演算法與架構創新,從 Kimi Linear、Minimax M2 和 Qwen3-Next 等模型談起,梳理近年的架構演變並探討未來改進方向。節目指出,DeepSeek 的 MoE 是近年架構的一大突破,而 Attention 可能是下一個重要方向。
SGLang 已有 KTransformers 後端的概念驗證實作,支援 MoE 模型以 CPU/GPU 混合方式推理,全面整合仍在推進。單 GPU + CPU 測試中,prefill 相較基線最高加速 20×,decode 最高加速 4×。
SGLang 與 NVIDIA 透過針對 Blackwell 架構的系統級優化,提升 DeepSeek R1 推理效能。
SGLang 宣佈在 DeepSeek-V3.2 發佈當日提供支援,並於推理引擎中整合 DeepSeek Sparse Attention(DSA)及 Native Sparse Attention(NSA)後端。
DeepSeek 將 deepseek-chat 和 deepseek-reasoner 升級至 DeepSeek-V3.2-Exp,分別對應其非思考模式與思考模式。詳情可參閲更新日誌:https://api-docs.deepseek.com/updates#deepseek-v32-exp。
SGLang 團隊提出 DeepSeek-R1 在 H20-96G 上的服務部署策略與系統、核心層最佳化方案,預填充採單節點 TP-8,解碼採 EP-16。輸入序列長度為 4096 tokens 時,每個節點每秒可處理 16.5k 個輸入 tokens 及 5.7k 個輸出 tokens。
SGLang 團隊優化 GB200 NVL72 上 DeepSeek V3/R1 的推理,在 2000-token 輸入序列下,Prefill 和 Decode 吞吐較 H100 設定分別提升 3.8x 和 4.8x。
DeepSeek 將 API 中的 deepseek-chat 和 deepseek-reasoner 升級至 DeepSeek-V3.1-Terminus,分別對應非思考模式與思考模式。更新維持模型原有能力,減少中英文混雜及偶發異常字元。Code Agent 和 Search Agent 的效能亦獲進一步優化。
DeepSeek 將 deepseek-chat 和 deepseek-reasoner 升級至 DeepSeek-V3.1,兩者分別對應非思考模式和思考模式。
SGLang 現已支援 Multiple Token Prediction(MTP),在 DeepSeek V3 測試中令輸出吞吐量最高提升 60.8%,且不降低生成質素。
Intel PyTorch Team 介紹以 SGLang 原生 CPU 後端在 Intel Xeon 6 CPU 上部署 DeepSeek R1 的優化方案。測試中,SGLang 相較 llama.cpp 的 TTFT 提升 6-14x、TPOT 提升 2-4x,並在 INT8 MoE 上達到 85% 記憶體頻寬效率。相關工作已開源並合併至 SGLang 主分支。
清流資本創始合夥人、百度前技術 VP 夢秋在節目中與主持人 catch-up,談創投近況,也分享旅行、閲讀、觀影和女性主義等話題。她認為資本寒冬尚未過去,DeepSeek 出現後 AI 應用創業也未因此變得活躍;節目亦討論各種 Bot 的體驗、微信如何做 Agent,以及垂直 Agent 的創業機會。
SGLang 在 GB200 NVL72 上部署 DeepSeek 671B,採用 prefill-decode 分離和大規模 EP,解碼速度達每 GPU 每秒 7,583 個 tokens,較 H100 提升 2.7 倍。
Featherless AI 現已成為 Hugging Face Hub 支援的 Inference Provider,接入模型頁面及 Python、JS SDK 的無伺服器推理服務。
Ollama 新增模型思考功能的啟用與停用控制,用戶可按應用情境決定是否分開輸出模型的思考內容與回答。CLI 支援 `--think`、`--think=false` 及互動指令切換;`/api/generate` 和 `/api/chat` 則新增 `think` 參數。
DeepSeek 將 deepseek-reasoner 升級至 DeepSeek-R1-0528,並公佈多項基準的 Pass@1 提升。AIME 2025 由 70.0 升至 87.5(+17.5),GPQA 由 71.5 升至 81.0(+9.5),LCB_v6 由 63.5 升至 73.3(+9.8),Aider 由 57.0 升至 71.6(+14.6)。
推薦理由:DeepSeek-R1-0528公佈多項基準提升數據,並提示複雜推理任務較舊版消耗更多 tokens,可供比較版本能力表現與用量。
SGLang 團隊以 12 個節點、96 張 H100 GPU 部署 DeepSeek-V3,結合 PD 分離與大規模專家並行(EP)。輸入序列長度為 2,000 token 時,每節點每秒可處理 52.3k 個輸入 token 和 22.3k 個輸出 token。相較於使用相同資源的基礎張量並行,最佳化策略的輸出吞吐量最高提升 5x;實驗及程式碼均已開源。
《全球大模型季報》2025 年 Q1 節目與廣密討論全球大模型格局變化,以及 AGI 的主線、主峯與前進路途。廣密重新堅信預訓練決定模型內在上限並帶來新能力,認為後訓練與強化學習是加強。節目亦討論 DeepSeek、Manus、OpenAI、矽谷的認知分歧與價值觀,以及未來的新路線。
DeepSeek-V3 0324 已登上 Hugging Face Hub,沿用原版架構並採用 MIT 授權,重點改善指令遵循、編碼和數學能力。DeepSeek 團隊列出的 MMLU-Pro、GPQA、AIME 和 LiveCodeBench 分數,分別由 75.9、59.1、39.6、39.2 升至 81.2、68.4、59.4、49.2。
推薦理由:文中提供 MMLU-Pro、GPQA、AIME 和 LiveCodeBench 的更新前後分數,讓讀者可按多項基準逐一比較 DeepSeek-V3 0324 相對原版的提升幅度。
DeepSeek 將 deepseek-chat 升級至 DeepSeek-V3-0324,並公佈多項基準分數提升及功能改進。MMLU-Pro 由 75.9 升至 81.2(+5.3),GPQA 由 59.1 升至 68.4(+9.3),AIME 由 39.6 升至 59.4(+19.8),LiveCodeBench 由 39.2 升至 49.2(+10.0)。
MIT 計算機科學與人工智能實驗室在讀博士松琳,逐篇解讀 DeepSeek、Kimi 和 MiniMax 有關注意力機制的 3 篇論文。DeepSeek 和 Kimi 在同一天發布的技術報告聚焦改進注意力機制以處理長文本任務;MiniMax 則在春節前發布相關論文。
《商業訪談錄》邀請香港科技大學計算機系助理教授何俊賢,逐篇解讀 DeepSeek 歷史上發布的 9 篇論文及其創新點。節目希望從延續、長期及技術底層的角度,理解 DeepSeek 的研究,以及其中的復現與創新。
antirez 主張,推理模型仍是 LLM;以 DeepSeek R1 為例,其核心是 decoder-only 自回歸模型,沒有明確的符號推理或表示。R1 Zero 無需監督式微調,僅透過生成思維鏈並以獎勵函數配合強化學習,便能獲得相近的推理能力;S1 論文則指出,少至 1000 個例子已可讓模型開始進行複雜推理。作者據此認為,預訓練已形成推理所需的表徵,強化學習及少量微調可令這些能力展現。
時隔1年,朱嘯虎對通用人工智能的態度出現逆轉,成為這期中國現實主義 AIGC 故事一週年連載的核心內容。此前,他曾表示不看好大模型,並稱不會投資6家中國大模型創業公司中的任何一家。節目提及 DeepSeek 讓他快要相信 AGI,以及閉源模型是否仍有價值的討論。
《張小珺商業訪談錄》第89集邀請加州大學伯克利分校人工智能實驗室博士生潘家怡,逐句解讀 DeepSeek-R1、Kimi K1.5 及 OpenAI o1 的技術報告。節目亦談及 DeepSeek-R1-Zero、DeepSeek-R1 及 OpenAI o3-mini,並以強化學習為主要技術焦點。
Hugging Face 與 Adyen 聯合推出 DABstep,這項基準以450多項數據分析任務評估 AI 智能體的多步推理能力。任務源自 Adyen 的實際工作負載,但資料與商業背景為人工生成;基準涵蓋結構化資料和非結構化文件,並提供資料集、任務、評測、即時排行榜及基線。
DeepSeek新模型發布後用戶訪問量激增,令官網及 API 再度無法使用。DeepSeek R1 在 AIME2024 的成功率達 79.8%,每百萬個 token 查詢成本為 0.14 美元,低於 OpenAI 的 7.50 美元;其程式碼和訓練方法以 MIT 許可開源。市場憂慮 DeepSeek R1 以較低成本訓練,可能削弱對英偉達 AI 晶片需求的預期。
推薦理由:文章並列 DeepSeek R1 的基準表現、查詢成本與開源方式,並呈現其對模型競爭和 AI 晶片需求預期引發的反應。
DeepSeek 將 deepseek-chat 模型升級為 DeepSeek-V3,API 保持不變。使用者仍可透過指定 model='deepseek-chat' 調用 DeepSeek-V3。
推薦理由:這次更新交代 DeepSeek-V3 與既有 API 調用方式的關係,使用者仍可指定 deepseek-chat 調用新模型,便於沿用現有接入方式。
DeepSeek 將 deepseek-chat 升級至 DeepSeek-V2.5-1210,並改善多項能力。MATH-500 成績由 74.8% 提升至 82.8%,LiveCodebench(08.01 - 12.01)準確率由 29.2% 升至 34.38%;內部測試亦顯示寫作和推理有所改善。新版本亦優化檔案上傳和網頁摘要功能的使用體驗。
SGLang 團隊發佈 SGLang v0.4,更新批次排程、快取感知負載平衡、DeepSeek 注意力並行及結構化輸出。批次排程吞吐量較前一版本提升 1.1x,快取感知路由吞吐量最高提升 1.9x、快取命中率提高 3.8x;DeepSeek 解碼吞吐量較 SGLang v0.3 提升 1.9x。
DeepSeek 將 DeepSeek V2 Chat 與 DeepSeek Coder V2 合併升級為 DeepSeek V2.5。
SGLang 團隊發佈 SGLang v0.3,DeepSeek MLA 吞吐量最高提升 7 倍,torch.compile 帶來最高 1.5 倍加速,並加入多項模型架構支援。