LLM 評估標準為何會漂移:模型不變,評分工具仍可能改變
這篇每週摘要整理 2026-11-05 至 2026-11-12 的 LLM 評估與可觀測性進展,指出評分者、LLM 裁判及污染測試等評估工具本身也會漂移。在人類盲測 Chatbot Arena 投票中,模型固定時「both bad」比例每月上升約 1.7–1.9 個百分點,模型間相對排名則保持穩定。文章指出,追蹤品質回歸時,團隊也需監察評估者本身的漂移,而非只檢查模型變化。
這篇每週摘要整理 2026-11-05 至 2026-11-12 的 LLM 評估與可觀測性進展,指出評分者、LLM 裁判及污染測試等評估工具本身也會漂移。在人類盲測 Chatbot Arena 投票中,模型固定時「both bad」比例每月上升約 1.7–1.9 個百分點,模型間相對排名則保持穩定。文章指出,追蹤品質回歸時,團隊也需監察評估者本身的漂移,而非只檢查模型變化。
Sam 以 University of Surrey 在 Psychology & Marketing 發表、分析 1,131 篇 AI 伴侶用戶貼文的研究為切入,指出用戶害怕失去的主要是累積記憶,而非模型本身。
A股震盪收跌,成交額突破1.95萬億元,前期領漲的物理AI、AI漫劇等題材集體領跌,反彈後多空分歧加劇。節目嘉賓將從大盤策略、科技產業及週期軍工等角度,分析油價、燃氣、鋁價和軍工板塊相關市場焦點。
多家龍頭券商看好明年A股投資機會,預期市場仍有結構性行情,走勢或呈「N型」或「K型收斂」。中信證券預測2027年中國實際GDP增速約4.5%,基建投資和消費邊際回暖;多家券商認為,下半年投資機會或較上半年更佳。
AI 生成程式碼的維護難題,核心並非程式碼品質,而是缺少程式碼背後的意圖及系統脈絡。AI 可能延續薄弱的測試覆蓋和混亂的架構,令既有技術債加深並更難察覺。程式碼生成變得容易後,理解和審查程式碼便成為工程團隊的瓶頸。
文章指出,面向 AI 智能體的原始碼控制需要由檔案式 Git 轉向伺服器託管、感知程式碼圖譜的系統。以 AST 節點取代逐行文字差異,可把針對性修改的提示詞內容由 2,000+ 行降至少於 50 個 token。文章稱,Anthropic 的 Scion 架構在每日合併量增至 10 倍時,將基建開銷降低 200 倍,並實現近乎即時的工作區初始化。
百勝中國在成都舉行上市暨成立十週年慶典,宣告全國門店總數達2萬家,並定下2030年衝擊3萬家門店的目標。公司正把AI用於排班、門店現場管理及後台工單分流,並透過供應鏈和營運體系支撐多品牌擴張。
亞馬遜雲科技在媒體溝通會上介紹 Amazon Bedrock AgentCore,為企業智能體提供運行、瀏覽器與程式碼集成、可觀測性、身份和網關等組件。金蝶發票雲使用 AgentCore 後,工單首次響應時間由15分鐘縮短至3分鐘,日均處理量增至原來的3倍,AI自動回覆通過率由60%升至80%。企業要提升整體產出,仍須打通部門與數據治理,並由管理層推動業務流程和組織重塑。
KORA Systems 公開 KORA OS 技術細節,文章將它視為「原生 AIOS」案例,重點是以 Cortex 混合推理引擎作為系統核心,調度 CPU、GPU 和 NPU。
AI短劇產量激增、平台分賬下跌且投流成本高,文章據此認為做 AI 短劇未必比送外賣划算。文章引述數據指,2026年上半年抖音原生新上線 AI 短劇超過22.19萬部,每萬次播放收益已跌至約5元;投流買量約佔成本的80%到90%,算力支出約佔10%。
作者審計 111 個英語及中文網站的 AI 搜尋就緒度,報告稱全球排名前 1,000 名的 19 個內容網站均沒有 llms.txt。內容、媒體及社羣網站中,有 12/36 至少封鎖一個 AI 爬蟲;軟件、SaaS 及開發工具網站則為 4/42。作者指出,llms.txt 與網站希望被找到相關,但不能據此推斷 AI 引用;Hacker News 提及數只是第三方報道的代理指標,並非 AI 引用數。
AI 智能體自行建立短期資料庫並直接存取數據,正迫使企業重新思考數據基礎架構。數據可觀察性已成為架構必要條件;企業亦須在運行時治理智能體複製數據、測試不同推理路徑及作出決策的過程。
United Airlines 於 2026 年 11 月 11 日修訂運輸合約,禁止使用 AI Agent 訂購、修改或處理機票,以及購買服務或產品,並可取消由 AI Agent 操作的預訂。
作者分析一份涵蓋 171 天、包含 129,870 條簽名事件的 AI 智能體日誌,發現 9,838 條不同引用邊中,只有一條追溯超過 25 小時。9,832 條引用可對應到已儲存記錄;在已存在超過 24 小時的 129,110 條記錄中,4,365 條曾被引用,比例為 3.4%。作者指出,引用統計無法涵蓋未留下引用標記的讀取,因此不能據此判定舊記錄從未被使用。
Beth Simone Noveck 以桃園市的 AI 應用及高風險預測系統為例,分析 AI 用於政府服務的機遇與風險。桃園自 2023 年 3 月起為有風險因素的 40 歲以上市民進行 AI 輔助肺癌篩查,兩年後已篩查逾 400,000 人,發現 233 宗肺癌個案,其中 90% 屬早期,並節省 NT$500 million($17 million)。
Similarweb 數據顯示,Reddit 全球訪問量在 2025 年 10 月至 2026 年 10 月下降 13%;文章將搜尋流量下滑與用戶轉向聊天機器人、Google 更常顯示 AI Overviews 而非連結列表相連。Reddit 表示,10 月每週活躍獨立用戶按年增加 16%,但這與總訪問量是不同指標。公司稱登入及 App 用戶是最有價值的用戶,也是主要焦點,並正轉向登入用戶體驗。
以記憶和套用既有模式為主的電腦科學教育,未能讓畢業生自然具備處理開放式工程問題的能力;教程、範本和 LLM 亦可能令學習者依賴外部支架。面對陌生問題,工程師可先建立最小可行垂直切片,再以錯誤回饋探索,並把基礎概念應用到不同語言。
騰訊管理層在28週年Linktime線上直播中表明,將加快組織變革,以適應AI時代並探索新的增長空間。騰訊提出約50%的員工繼續深耕核心業務,另外50%擁抱AI;混元改革則揭示評測語料污染、算力不足及數據管理等問題。姚順雨要求總辦一年內不看模型榜單,嘗試讓研發團隊把注意力放回模型本身。
文章指出,騰訊沒有大規模裁員計劃,而是透過人員與組織調整把資源轉向 AI;「陸軍/海軍」説法指向守住核心業務與探索 AI Native 的分工。混元重組、WorkBuddy發展,以及資本開支和投資轉向,是文章列舉的轉型例子。作者亦指出,轉崗、匯報線和考核變動令員工面對不確定性。
彭博社稱,英偉達董事會已開會,正考慮委任臨時CEO,並透過外部機構物色正式繼任人選。市場把CFO科萊特·克雷斯視為臨時人選,數據中心業務主管伊恩·巴克則被視為長期接班熱門人選。文章亦梳理圍繞黃仁勳的調查、訴訟與罷免傳聞,並引述《福布斯》分析對董事會獨立性的質疑及限制其權力的建議。
AI 社羣的「handoverism」構想設想人類把未來方向交由 AI 掌控,並探討這種構想在實際中可能呈現的樣貌。
深圳國際美術館與樂其創新SmallRig於11月11日在深圳舉辦「AI時代藝術與科技生態重構國際學術交流活動」,邀請美術館、藝術、設計及科技界人士探討AI時代的藝術創作與生態。活動亦為藝術家馮羽與樂其創新SmallRig共創的藝術裝置《幽蘭賦》揭幕;與會者認為AI能拓展創作方式,但藝術家的判斷、感知與真實經驗仍不可或缺。
前 Mission Control 室友 Surabhi Todi 和 Lisa Shmulyan 推出 Mission Street Capital,加入 hacker house 社羣自設基金、在傳統風險投資機構發現創辦人前投資早期項目的趨勢。
Standard Bots 創辦人 Evan Beard 正遊説美國政府支持本土機械人製造,目標是在十年內把公司打造成全球最大的機械人製造商,並在美國生產全部機械人。這家估值達 $1 billion 的公司,按價值計算約 40% 零部件來自美國,關鍵零件仍依賴中國及其他海外供應商。報道引述兩名知情人士稱,美國國防部戰略資本辦公室正與 Standard Bots 商討一筆可能達數十億美元的貸款。
全球晶片競賽正透過 AI 記憶體供應緊縮推高日常電子產品價格,並牽動汽車、投資及電網等領域。2026 年約四分之一的全球記憶體晶圓轉用於 AI,令一般 RAM 供應減少 15% 至 17%,標準 DRAM 合約價格在年初單季急升逾 90%。晶片產業亦受製造成本、全球供應鏈依賴及台灣生產集中影響。
Brice Luu 用一條訊息讓 Claude Code 約 55 分鐘完成 PoCcorn 初版;他將首 80% 壓縮至一小時,餘下 20% 卻耗去整個週末。
NVIDIA目前未公開明確的CEO接班安排,黃仁勳仍在掌舵;現有管理團隊可承擔日常業務,但尚無被確認能全面接任的人選。直接向黃仁勳匯報的高管曾約55人,後降至約36人,而黃仁勳表示不相信正式繼任計劃。文章指出,日常營運可持續不代表最高管理層交接順利,接任者還須延續技術路線及產業合作。
大學保研競爭衍生出學生互相舉報的現象,文章呼籲高校明確不合理舉報的處理紅線,保障被舉報學生的合法權益。精細量化的評價、研究生名額有限及社會對學歷的焦慮,加劇學生對保研的追逐;改善問題還需優化校園制度,並減少招聘中的唯學歷傾向。
Omdia 預計,2026 年全球 AI 軟件收入將突破 2000 億美元,達到 2024 年市場規模的兩倍。生成式 AI 軟件收入預計同比增長 139%;2025 年至 2031 年,全球 AI 軟件市場收入年複合增長率預計為 30%,智能體 AI 則達 104%。
Hacker News 討論認為,Torrent 適合分發大型 AI 模型,尤其是突然走紅、需要擴展下載能力的模型。有留言指出,Torrent 比透過單一私人伺服器分發更合理,並提議 Hugging Face 採用混合方案;亦有留言認為,模型分發與開放權重模型的控制權有關。
2026 年前 10 個月,八家國內第三方 AI Infra 企業合共完成 20 輪融資,資金加快流向頭部項目。投資人對其長期商業價值看法分歧,支持者認為算力短缺、跨供應商調度及中小企業取得算力的需求帶來市場空間,反方則擔心大廠或開源工具取代部分服務。硅基流動招股書顯示,其 2025 年公有雲服務毛利率為 -119%,本地部署解決方案毛利率為 82.5%,反映不同業務的盈利表現差異。
硅基流動、九章雲極和無問芯穹等 AI 基礎設施公司正拓展 Token 服務,但現有披露顯示,Token 銷售尚未成為高利潤生意。硅基流動2025年收入同比增長653.2%,綜合毛利率卻降至-24%;九章雲極2026年上半年智算雲業務毛利率為2.5%,低於智算基礎設施解決方案的41.1%。
AWS Emulator 是 AWS 推出的開源項目,讓開發者和 AI coding agents 無需配置實際雲端資源,便可在本地使用受支援的 AWS API。它支援隔離執行個體,可讓部分整合驗證提早至開發階段,CI pipelines 亦可在不為每次測試配置新雲端資源的情況下執行受支援的測試。AI coding agents 可藉由本地執行、驗證及修正,形成反覆改善程式碼的回饋流程。
DoNews 分析華為、小米、榮耀、OPPO、vivo 的個人 AI 助理競爭,認為競爭重心正由模型能力轉向 Harness 的系統調度與執行能力。文章將五家路線概括為全棧自研、跨設備生態、操作系統重構,以及深耕記憶和個人化體驗,並指出系統控制權、數據與記憶、協議生態是重要壁壘。文章亦指出超級 App 的開放態度與殺手級場景缺位構成發展門檻,並預測行業在 2027 年前後可能經歷泡沫出清。
文章分析,黃仁勳的去留壓力並非單一爆料所致,而是華盛頓對華鷹派、雲端巨頭、資本市場及 NVIDIA 董事會的利益交錯。文中把10月29日至11月11日接連出現的國安疑慮、合規指控及私生活報道,解讀為壓力逐步轉向董事會責任的過程。文章推測,結果未必是黃仁勳離任,也可能是留任但交出部分權力。
推薦理由:文章把華盛頓對華鷹派、雲端服務商的算力佈局與董事會法律責任串聯起來,梳理黃仁勳去留危機背後的多方利益。
文章指出,Codex、Claude Code 等 AI 編碼智能體即使收到明確的架構文件,仍反覆以功能或領域方式拆分程式碼,偏離項目既定的 Volatility-Based Decomposition。這會增加依賴和技術債,令除錯、維護及功能修改更困難,並可能帶來安全風險和更高的 token 成本,對初創企業尤其構成負擔。
Sean Kerwin 分享自己在 Deskpro 使用 Claude 處理缺陷與 PR 審查的工作轉變,主張工程師應把重心放在提供背景和判斷輸出,而非編寫或逐行閲讀程式碼。Claude 可重現錯誤、與他討論方案、執行修正、檢查變更並提交附有證據的 PR;他則依據對程式庫、產品和客戶的瞭解作出判斷。他指出,這種做法依賴領域經驗,職涯較早期的工程師應先累積對領域、產品和取捨的認識。
AI 推薦經濟要由交易可執行走向可信,下一步是審核身份、歸因與目的地之間的關係。框架區分推薦對象、提出或支持主張者,以及用戶採取行動的目的地,避免把提及當成背書,或把可交易的商戶當成獲授權代表。身份監察架構屬設計提案,並非有可疑頁面進入 AI 回應或改變推薦的證據。
低價、批量生成的 AI 音樂正改變音樂產業,壓低部分編曲報價,也讓沒有樂理基礎的人可以創作歌曲。文中稱,國內音樂平台每日新入庫歌曲由 7 萬多首增至 10 萬首以上,其中逾 20% 由 AI 製作。職業編曲人開始用 AI 鋪出初稿、再自行處理細節;一名樂評人則在盲聽評選中,把一首 AI 作品評為全場第二高分。
Omdia 預計,2026 年全球 AI 軟件市場收入將突破 2000 億美元,較 2024 年翻一番。2025 年至 2031 年,AI 軟件市場年複合增長率預計為 30%,智能體 AI 則高達 104%。到 2028 年,生成式 AI 收入有望超越預測式 AI,成為市場最大收入來源。