Planchette 以 Gemma 3 4B 的 token 機率驅動靈應盤逐字作答
作者 Jayden George 開發 Planchette,根據 Gemma 3 4B 對下一個字母的 token 機率,驅動靈應盤逐字作答。模型照常選取完整 token,程式把 top 20 候選 token 按下一個字母彙總機率,讓盤面在模型猶豫時於字母間擺動。
作者 Jayden George 開發 Planchette,根據 Gemma 3 4B 對下一個字母的 token 機率,驅動靈應盤逐字作答。模型照常選取完整 token,程式把 top 20 候選 token 按下一個字母彙總機率,讓盤面在模型猶豫時於字母間擺動。
Cisco Talos 分析指出,VOLTA-AUTODOXER 會在竊取憑證後,利用 LLM 將受害者可變現資產整理成排序評估檔案。程式會把結構化資料經 OpenRouter 傳送至模型,要求評估資產價值及受害者的安全習慣;推理在受害者電腦及其網絡上完成,結果其後才外傳。
Gary Marcus 在梵蒂岡會見教宗 Leo XIV,認同教宗提出的 AI 五項主張,並呼籲在修正安全問題前停止提供可自由使用互聯網的開放式 AI 智能體。教宗主張以人為本、保留人類對關鍵決策的監督,並以共同利益和國際機構落實 AI 倫理原則。Marcus 認為,大語言模型擅長預測,但推理和遵循指令的能力不足,因此需要新的研究方法與監管措施。
2026人工智能+大會於10月30日至11月1日在北京舉行,圍繞國產智能計算生態、產業場景合作、國際應用與治理及物理AI等議題,探討人工智能從技術創新走向產業應用的路徑。大會啓動“央企AI場景共創夥伴計劃”,併發布《中國人工智能國際應用與治理合作白皮書》及機器人操作學習能力評測基準《ReAct-Manip》。
Ant International AI Infra 團隊在 SGLang 上優化 GLM-5.3-Flash 的 H200 解耦式服務,提升預填充與解碼吞吐量。
Sam Altman 認為,在供應受限的情況下,大量 DRAM 閒置於個人電腦、只在 5% 的時間使用,是「相當糟糕」的資源分配方式;他談的是本機推理,並主張提高雲端使用率。報道指出,OpenAI 透過多項協議鎖定全球約 40% 的 RAM 產量。遊戲、直播和高清影片剪輯等用途亦需要較多 RAM,供應短缺推高記憶體及相關電子產品價格。
作者計算指出,BF16 大語言模型解碼的算術強度為 1 FLOP/byte,比 GPU 平衡點低約 200–300 倍,因而受記憶體頻寬限制。批次處理可攤分權重讀取,但 Qwen3-32B 要以 282 條序列達到平衡點;在 B200 180 GiB 上,4k context 下可容納 119 條,128k 下只有 4 條。
OpenAI 行政總裁 Sam Altman 認為,讓有限的 DRAM 閒置在個人電腦中、只在 5% 的時間使用,從全球資源分配角度並不理想,應提高雲端數據中心的利用率。這番話是在 10 月 29 日發布的 Cheeky Pint podcast 中談及本地推理時提出。文中稱,OpenAI 的 DRAM 需求預測高達每月 900,000 片晶圓,約佔全球產量 40%。
作者在 iPhone 15 上以 llama.cpp 離線執行 LFM2-2.6B,將文字、語音及掃描帳單轉成 JSON。短文本轉 6 欄 JSON 需 4–6 秒,語音備忘錄轉巢狀任務清單需 7–9 秒,掃描帳單轉 7 個欄位需 10–14 秒。做法包括用 GBNF 限制 JSON 結構、以規則讀取金額等數字,並補充日曆資訊及重複語言指示。
庫爾特·哥德爾的不完備定理揭示形式系統與數學知識的界限,並推翻希爾伯特計劃的理想。文章回顧哥德爾的生平及其對計算機科學的影響,並探討 AGI 是否同樣受這些邏輯限制。
Strata 發佈 0.2.9,更新本地大模型推理效能;在 Windows + AMD Strix Halo 上,Qwen3.8 IQ3_S 的 32K Prefill 吞吐量由 778 tok/s 升至 1,460 tok/s,提升 88%。
文章將智能界定為持續重組問題表徵的能力,而非高效操作固定符號。借鑑 Hofstadter 的 FARG 研究,文章指出概念滑移及推理與感知之間的反饋循環,有助理解現代大語言模型如何靈活處理資訊。
文章質疑 AI 的經濟增量價值,認為截至2026年10月31日,AI 雖提升生產力並具替代價值,仍未顯示新增價值,市場亦似處於泡沫破裂前夜。文中指出,AI Coding 提高產量未必帶來相應收入,供給增加和價格下跌反而加劇競爭。文章引述 Reddit 行政總裁稱 Google AI Mode 直接提供答案,10 月平均每週來自搜尋引擎的訪問量減少逾100萬次。
阿里通義千問 Qwen3.8 系列於 2026年8月正式開源,涵蓋 Qwen3.8-Max、Qwen3.8-27B、Qwen3.8-Flash 及 Qwen3.8-Flash-Next 預覽版。
InfoQ 邀請四位 AI 領域專家討論 2026 年 AI 趨勢,重點從模型能力轉向將 AI Agent 安全、可靠、低成本地部署到實際系統。討論涵蓋模型蒸餾與量化、推理基礎設施、上下文工程及多智能體協作,也指出 Agent 評估須衡量任務完成情況、成本、耗時和安全性。AI 進入機器人等物理場景後,可靠性與安全驗證尤為重要。
作者以本地 Gemma 3 4B IT 建構並審計一套 EEG 腦訊號解讀系統,發現生成內容主要來自模型先驗。ridge probe 從 200 個概念中以單次 EEG 試次命中率 4.5%(機會水平為 0.5%),平均 16 次呈現後升至 39.5%。
美國伺服器可作為大語言模型推理的區域終結點,讓北美用戶的請求在美西或美東生成 Token,避免跨洋連線。架構建議原始個人資料留在境內,跨區只傳脱敏上下文,並以網關脱敏、KV Cache 和語義快取兼顧延遲、成本與合規。
作者構建一套面向精準腫瘤學臨牀流程的機率圖神經網絡系統,並部署於 Raspberry Pi 4,模型大小為 47MB,推理時間為 1.3 秒。系統結合變分推理、MC dropout、量化、圖剪枝及知識蒸餾,依不確定性將病例自動填入臨牀流程、標記覆核或升級至專科處理。
Google 宣佈「逐日者計劃」(Project Suncatcher)原型衞星上的數據中心級 TPU 首次在軌提供 AI 回應,並生成一首俳句。工程師下發提示詞,要求預裝在衞星上的 Google DeepMind 模型 Gemma 4 創作一首關於身處太空的俳句,團隊亦測試了五行打油詩生成及軌道環境數據回傳。
Google 宣佈,在軌運行的數據中心級 TPU 首次產生 AI 回應,達成「Hello World」里程碑。工程師以提示詞要求預裝在衞星上的 Google DeepMind 模型 Gemma 4 創作太空俳句,並測試五行打油詩生成及軌道環境數據回傳等遙測任務。
OpenAI 發佈由未公開內部模型撰寫的 722 篇數學研究手稿,涵蓋 17 個領域的 372 類成果,其中 162 篇附有主結果的 Lean 形式化證明。OpenAI 沒有公開模型和提示詞,數學家質疑成果能否獨立核實;官方所稱每項成功成果平均耗用相當於 ChatGPT Pro 思考 3 小時的算力,並不代表每題只花 3 小時完成。
Axiom 團隊的多智能體系統 AxiomProver 用 24 天完成有限單羣分類定理(CFSG)的 Lean 形式化,產出 4310 萬行 Lean 程式碼。形式化過程記錄了數百處異常,其中 34 處屬重大邏輯偏差,並在不平衡羣定理相關證明中發現一項漏洞。數學家提出新的證明路線後,AxiomProver 證明瞭新結果 Preservation of simple tops,補上該缺口。
推薦理由:這項工作展示形式化如何將分散的長篇證明轉成可逐步檢查的 Lean 程式碼,並揭示機器檢查與數學家協作修補論證的方式。
Moondream 的 Photon 推理引擎以流水線解碼,讓 GPU 在 CPU 處理上一個 token 時先開始下一個 token 的運算,減少 GPU 等待造成的吞吐量損失。在 B200 上以 32 streams 執行相同工作負載,速度比阻塞式迴圈快 35%;在 3090 上快 12%。
Baseten 重構差分權重同步流程,以 GPU 權重作為更新基準,將約 770 GB 的 GLM-5.3 同步時間由 36 秒縮至 15 秒。請求暫停時間由 6 秒降至 0.8 秒;新設計不再在主機記憶體保留完整權重副本,騰出的空間可用於 KV cache offloading。
OpenAI 發佈 GPT-Rosalind-6 系統卡補充文件,指出該模型沿用 GPT-6 Astra 的相同權重,沒有新增訓練數據或進行額外後訓練。在 GeneBench Pro v13 的最高推理預算下,GPT-Rosalind-6 單次成功率為 37.7%,GPT-Rosalind-5.5 為 16.7%;該評估使用與生產環境不同的基準專用設定。
中國模型廠商正以訓練流程、推理系統、Harness 和沙箱等工程環節推進 RSI,但目前尚未有廠商讓 AI 改寫模型權重。智譜的 Infra Agent 在 10 萬張國產晶片組成的集羣上,兩週內建成 GLM-5.3-Flash 生產級推理服務,端到端吞吐量達初始基線的 3.2 倍;深度求索(DeepSeek)的 DSec 每日可建立約 300 萬個沙箱。
Snowden SAY 比較 vLLM、TGI 與 Ollama 的 LLM 推理服務效能,並整理吞吐量、延遲、GPU 記憶體及部署成本數據。在 Llama-3-8B-Instruct、65 路並發測試中,三者總吞吐量分別為 3,480、2,910 和 96 tok/s;單串流 p50 延遲分別為 182 ms、161 ms 和 310 ms(A100)。
Google Suncatcher 原型太空數據中心衞星已上線並與地面通訊,搭載的 Google DeepMind Gemma 4 在工程師提示下寫出一首太空主題俳句。
小米技術發布並開源 0.8B 參數的文件理解模型 Xiaomi-OCR-0,整合文件解析、關鍵資訊抽取及 OCR 視覺問答。
普林斯頓團隊提出 Merlin,以平均值和方差兩項統計量進行路由,改善線性注意力模型的長上下文記憶。Merlin 在 LongBench 和 RULER 的分數分別最高提升 13.5% 和 8.3%。它亦勝過使用多 4× 記憶體的基線模型。
DoorDash 將 AI 雜貨補購流程的延遲由約 16 秒降至 2 秒,做法是預先計算重複購買需求,而非每次收到請求時重新推算。系統以過去 90 天的購買紀錄和消費者資料辨識可能的重複購買,經確定性驗證後,再於即時請求中匹配現有商品目錄。這項改動令購物清單瀏覽量增加一倍,流程訂單率提升約 34%。
作者的背景移除工具在頁面未啟用跨來源隔離時,會將 onnxruntime-web 的 WASM 執行緒數設為 1,讓 u2netp 以單執行緒執行。作者避免採用 COEP: require-corp,因為它可能阻擋沒有 CORP 標頭或 CORS 配置的跨來源資源,影響 OAuth 登入彈窗及第三方指令碼。
硅基流動港股上市申請獲中國證監會備案受理,公司註冊用戶超過 1,000 萬名,企業客戶超過 1.3 萬家。公司 2026 年累計股權融資近 29 億元,資金將重點投向推理引擎、異構算力調度及模型晶片適配等研發。按 2025 年 Token 年吞吐量計,硅基流動在中國 Token 供應市場排名第四,份額約 1.5%,在獨立生態平台中排名第一。
文章主張,AI 智能體的大部分重複呼叫可交由 10B 以下的小模型處理,前沿模型則留給較難的步驟。文中引述 NVIDIA Research 的估算,7B 模型的服務成本較 70B 至 175B 模型低 10 至 30 倍。
Flide 是一款開源推理引擎,面向 Jev-like 決策模型,透過精確狀態分叉,讓多個問題共用運算,同時保留精確的決策語義。測試中,Flide 的推理速度最高比 vLLM 和 SGLang 快 9.5×,並支援 Decision Index 0.4.1 上的 30+ 款開源決策模型。
DeepSeek R1 在多項推理基準的表現與 OpenAI o1-preview 相若或更佳,但在 GPQA Diamond 落後,達到相若準確度亦會消耗更多推理 token。
Doomformer 將神經網絡編譯成 DOOM 地圖,並在地圖中執行 MNIST 手寫數字辨識,測試集準確率為 97.16%。全部 10,000 個測試數字中,地圖讀回的數值均與 NumPy 整數網絡完全一致;浮點模型準確率為 97.58%。它支援 MLP、脈衝神經網絡及 Transformer,定位是觀察和修改計算,而非加速推理。
ElevenLabs 推出 Eleven Realtime v1 Mini 與 v1 Max 兩款語音轉語音模型,兩者均是完整語音智能體,分別面向低成本自然對話及複雜多步工作流。
Google 發佈 Gemini 4 Carbon,該模型在 Artificial Analysis 智能指數 v5.0 以 59 分登頂,超越 Claude Opus 5.5 和 GPT-6 Astra。
文章稱 Fable 5.5 正在測試;Anthropic 的安全博客則介紹,Claude Fable 5 及後續模型會在回答後生成用戶看不到的安全評估。這項自評估重用對話上下文與 KV Cache,供離線篩查而非即時攔截,額外算力開銷低於 2%。Claude Fable 5 的測試中,相關方法捕獲重型分類器所能標記的 78% 違規對話,高危濫用檢出率為 94%,誤判率為 1%。