THE VEIL:我打造了一款完全在本機運行的 AI 占卜板
THE VEIL 是一款在本機運行的 AI 占卜板,使用 Ollama 執行 llama3.2:3b,無需雲端或 API 金鑰;載入模型後,即使沒有網絡也可使用。用戶輸入問題後,木製占卜板上的指示片會逐字移動、顯示回答,最後移至 GOODBYE。3B 參數模型可在手提電腦 CPU 上運行,無需 GPU。
THE VEIL 是一款在本機運行的 AI 占卜板,使用 Ollama 執行 llama3.2:3b,無需雲端或 API 金鑰;載入模型後,即使沒有網絡也可使用。用戶輸入問題後,木製占卜板上的指示片會逐字移動、顯示回答,最後移至 GOODBYE。3B 參數模型可在手提電腦 CPU 上運行,無需 GPU。
Ofrenda Viva 是一款以 100% 本機開源 AI 打造的互動數碼紀念祭壇,向計算先驅致敬,亦可供用戶離線建立先人、導師及寵物的紀念祭壇。內置 Espíritu 本機 AI 預言引擎,可生成悼詞、墨西哥傳統韻文、書信及祭壇供品建議;照片和紀念資料儲存在本機。祭壇另有 6 支互動蠟燭、程式合成音效,以及以 60 FPS 運行的萬壽菊與焚香粒子效果。
作者在 iPhone 15 上以 llama.cpp 離線執行 LFM2-2.6B,將文字、語音及掃描帳單轉成 JSON。短文本轉 6 欄 JSON 需 4–6 秒,語音備忘錄轉巢狀任務清單需 7–9 秒,掃描帳單轉 7 個欄位需 10–14 秒。做法包括用 GBNF 限制 JSON 結構、以規則讀取金額等數字,並補充日曆資訊及重複語言指示。
Ofrenda AI 是一款以 Google Gemma 2 驅動的開源、離線優先數碼紀念祭壇及口述歷史資料庫,設計為在本機運行。它使用 gemma2:9b 將家族記憶整理成紀念文字、口述歷史和傳家食譜,並支援 ElevenLabs 語音旁白,離線時可切換至瀏覽器語音合成。
香港工具品牌 Arrowmax 在 Kickstarter 上線 AI 電動螺絲刀 S1,24 小時內達成眾籌目標。S1 可識別螺絲、自動匹配批頭及調節扭矩,搭載本地 AI 模型,無需連網。起售價為 80 美元,預計 2027 年 4 月發貨。
The Last Clue 是一款以 Arduino UNO Q 和本地 AI 驅動的恐怖主題多人卧底猜詞遊戲,Arduino UNO Q 會託管遊戲伺服器,並以 LED 矩陣呈現幽靈表情及回應遊戲事件。
OpenAI 行政總裁 Sam Altman 認為,個人電腦 DRAM 使用率偏低,主張把 AI 運算更多集中於雲端資料中心。他以記憶體只有「5% 的時間」被使用為例,認為雲端可讓不同用戶輪流使用記憶體;SK hynix 預計記憶體供不應求可能延續至 2030 年。本地 AI 則有私隱及離線使用優勢,選擇亦取決於模型大小、成本、私隱要求和使用頻率。
Ghost Papers 使用本機運行的 Gemma 3 (4B) 閲讀家人留下的文件,並整理成一份遺產檔案和可列印的家庭文件冊。它透過 Ollama 離線運作,毋須 API key 或雲端服務;個人資料可只保留在記憶體中,儲存則由用戶選擇。文件內容支援英語、孟加拉語和印地語,但孟加拉語和印地語文件仍須對照原件核實。
EIDOLON-OS 是一套完全離線、零雲端的認知作業系統,利用本機 Google Gemma 2 (2B) 推理,並以本機檔案儲存數碼記憶。系統採用 Ollama IPC socket、確定性餘弦向量引擎及加密本機資料庫,並以 Docker 和 Docker Compose 封裝。程式碼以 MIT License 開源。
Butu 是適用於 Chrome 和 Firefox 的專注夥伴,會在用戶離開工作頁面時,逐步把分心頁面變成「鬧鬼」頁面。它使用 Xenova/paraphrase-MiniLM-L3-v2 嵌入模型,在瀏覽器內比對工作任務與頁面內容;模型量化權重約 17.5 MB,下載並快取後可離線偵測。用戶回到工作頁面後,頁面便會恢復原狀。
細胞壁智能於10月27日完成新一輪戰略融資,TCL實業戰投和深創投參投,旗下CyboPal ONE定位為桌面大屏機械人。產品配備27英寸4K主屏、六自由度機械臂及6TOPS NPU,可感知用戶位置並調整屏幕;公司稱,產品過去一個月在海外眾籌及線下渠道預售超過1000台,金額超過1000萬元。由千台走向萬台量產仍要面對供應鏈管理、品控和安全認證挑戰,較複雜的意圖理解則需要依賴雲端。
Ghost in the Machine: Anima & Ofrenda 是一個隔網、以開放權重 AI 驅動的互動體驗,結合紀念祭壇、附身終端機與已淘汰技術的互動展示。它採用 Gemma 2 9B、Llama 3.1 8B、Mistral 7B 和 Qwen 2.5 Coder,支援本機推理;沒有本機服務時,祭壇、音效合成器和展示仍可完全離線運作。
Echoes in the Machine 是一款以私隱為先的本機 AI 回憶檔案庫,將照片、文件、錄音和故事整理成可搜尋、可對話的個人記憶。它使用 RAG 從本機向量資料庫檢索相關回憶,並以 Whisper 將錄音轉成文字,設計上盡可能在本機處理資料。
Ghost Archive 是一款以本機開放權重 AI 撰寫鬼故事或紀念文字的私密寫作工具,採用 Qwen3-4B 和 Ollama,並可在設定中選擇其他已下載的本機聊天模型。完成設定後,寫作流程無需連接互聯網;回憶不會傳送至託管模型服務,作品可儲存或匯出為純文字或 JSON。
Sam Altman談到本地推理時表示,供應受限的 DRAM 與其放在 PC 中、每次只使用 5% 的時間,不如用於數據中心。他認為,數據中心比 PC 更適合使用這類供應有限的記憶體。
7位業界嘉賓在智能駕駛大會分享最新判斷,議題已由智能駕駛延伸至物理AI,並聚焦世界模型、強化學習、端側智能及虛擬仿真。多位嘉賓將智能駕駛視為物理AI進入現實世界的試驗場,並指出安全、數據、訓練與驗證及開發成本仍是待解難題。Momenta表示,搭載其輔助駕駛系統的乘用車已超過130萬輛,並正預研約千億級參數的R9世界基礎模型。
PHNTM One 開發者在 Raspberry Pi 5 上手工打造私人 AI 助手,本月加入數學教學功能 PHNTM Tutor 和專案規劃功能 PHNTM Missions。裝置搭載 8 GB RAM,售價 $799;私人模式下,Gemma 3 4B 在本機運行。
Sunmughan Swamy 打造開源工具 Conzyx,讓 AI 智能體可在 Android 裝置上離線建置和運行。現行版本 v3.5.17 已恢復 PHP 8.4,並完成離線套件驗證;裝置端支援 Python、C、C++ 和 PHP 執行環境。
Apple 宣佈 Apple 智能國行版將於11月4日隨 iOS 最新開發者 Beta 版開啟測試,正式版預計於12月隨 iOS 27.3 上線。兼容裝置包括 iPhone 15 Pro、iPhone 15 Pro Max、iPhone 16 全系列及後續新款機型,功能涵蓋升級版 Siri、系統寫作輔助、照片與影片理解及通知摘要。
Clearport 為 Android 本地 AI 模型提供 Flutter 聊天程式及 Termux CLI,透過 llama.cpp 在手機上推理,並可在飛行模式下示範使用。它支援 Gemma 3 1B Q4_K_M(806 MB)及 Gemma 3 270M Q8_0(292 MB),應用程式和 CLI 均不需帳戶,也不會附帶模型權重。
蘋果推出首款全螢幕多點觸控 MacBook Pro,採用 M5 Pro 或 M5 Max、雙層串聯 OLED 顯示屏及靈動島,頂配價格為112,624元。文中以 LM Studio 載入14B參數模型並輸入8K提示詞,稱 M5 Max 的首 Token 響應速度達 M1 Max 的12倍。M5 Max 最高配備128GB統一記憶體,文章亦介紹觸控手勢、離線生圖及小模型微調等用途。
推薦理由:文章交代觸控 OLED 版與普通 Mini-LED 版的價差,並列出重量及本地模型測試數據,提供比較形態升級與端側 AI 配置的依據。
模擬式記憶體內運算的能耗優勢取決於運算規模和精度,並非單看陣列內每次運算的能耗。每次推理運算量約低於一百萬次、所需精度為 8 bits 或以下時,模擬陣列較節能;超出這個範圍,數據轉換和校準開銷會令數碼設計佔優。若模擬陣列到 2030 年取得常開感測市場的顯著份額,年新增收入估計為 1 至 4 billion dollars。
裝置端 AI 推理的記憶體取捨,關鍵在每焦耳頻寬和功耗,而非單看峯值頻寬;LPDDR 在電池供電的功耗範圍內更具優勢。文章預測,兩者將按功耗分工:每封裝約 150 watts 以上用 HBM,以下用 LPDDR。若到 2029 年一般手機配備 8 至 16 gigabytes 專用模型記憶體,相關市場年收入估計為 15 至 40 billion dollars。
Cometflow Do 正在開發一款 Android 應用程式,以 Utility Mode 和 Intelligence Mode 結合日常工具與裝置端 AI 助理。
Memory Lantern 是一款以 AI 搜尋已儲存回憶的應用程式,讓用戶記不起原文用詞時,仍可按記憶內容找出相關段落。語意搜尋使用 all-MiniLM-L6-v2,透過 Transformers.js 3.8.1 在用戶裝置上運行。無需帳戶或 API key,筆記和搜尋內容不會上傳至推理伺服器。
Ofrenda.exe 是一款受亡靈節啟發的本機 AI 記憶工具,會根據姓名和一段回憶生成簡短的紀念卡。它透過 Ollama 在本機使用 gemma3:1b,並設有確定性的離線模式;個人回憶保留在用戶裝置上,無須帳戶或互聯網連線。
NVIDIA 分享如何用幾條命令運行 AI 模型以開發邊緣應用。邊緣 AI 智能體可監察駕駛者注意力和車廂狀況、協助機械人理解周遭環境及規劃任務,並協調生產線上的機器羣;相關應用受記憶體、功耗和延遲限制。
GhostShell 是一款開源、完全在本機運行的 AI 鬼魅終端,提供互動式 CLI 與復古 CRT 網頁入口,並會對終端操作作出神秘回應。網頁入口透過 WebGPU 執行開放權重 LLM SmolLM-135M,亦設有亡靈祭壇、算法降神會和墨西哥諷刺民謠詩生成器。
PHANTOM OS 是為 Hacktoberfest Open-Source AI Challenge Week 4 建構的互動式桌面體驗,讓 AI 調查系統事故、解釋錯誤並保存技術記錄。它以 Ollama 本地執行開放權重模型 Qwen 2.5 3B,並用 SQLite 儲存事故記錄,無須依賴付費雲端 AI API。終端機只模擬指令,不會執行任意作業系統命令。
TrailEcho 擴展為夜間音訊伴侶和超自然異常調查工具,以即時音訊頻譜分析偵測異常頻率,並用開源權重 AI 將聲音模式轉化為哥德式敍事。它透過 Ollama 在本機執行 Gemma 2B 或 Llama 3.2 1B,並支援離線運作,不會把個人音訊傳送至雲端伺服器。
作者為 Hacktoberfest 2026 製作 Memory Lantern,一個以 AI 支援的私人紀念花園,讓用戶保存人物記憶和故事。它使用 Google Gemma 2:2b 生成紀念信、致敬演講、回憶語錄及 ofrenda 祝福,並提供搜尋、篩選和虛擬蠟燭等功能。個人記憶透過 LocalStorage 儲存在瀏覽器;AI 生成目前需要在本機使用 Ollama。
Memory Lantern 是一款以 Gemma 4 為寫作引擎的本地紀念冊工具,會將用戶選取的筆記整理成短篇回憶文字,並顯示來源筆記供核對。應用程式透過 Ollama 在本機處理資料,筆記以 JSON 儲存;安裝 Gemma 後可離線生成,草稿可編輯、複製或儲存為可列印的 HTML 紀念冊。
HUAWEI Mate XT 2 非凡大師以三摺疊大屏、全景三分屏和多種文件格式預覽,面向差旅中的文檔處理與會議溝通場景。展開後內屏為10.2英寸,配備32根分佈式天線,並支持北斗衞星消息與天通衞星通信。產品提供16GB+256GB、16GB+512GB及16GB+1TB三個版本,售價分別為19999元、21999元及23999元。
BrainChip 推出 AKD1500 Raspberry Pi 5 開發套件,配備 Raspberry Pi 5 和 AKD1500 M.2 板,供開發者測試低功耗常開 AI 應用。AKD1500 採用事件式神經形態架構,支援裝置端學習;原型所用晶片亦可用於量產產品。套件現已在 BrainChip Shop 發售,MetaTF 軟件工具和模型可免費取得。
GhostShell AI 是一款離線 AI 助手,透過 Ollama 在本機執行 Gemma 3 (1B),可回答問題、解釋 Git 指令及提供基本編碼協助。下載所需依賴項目和 AI 模型後,應用程式可離線運作,不依賴雲端 AI API。
HUAWEI Mate XT 2 非凡大師以三摺疊設計面向商務人士,主打大屏辦公、私隱防護、影像及通信能力。手機展開後配備10.2英寸內屏,支援HarmonyOS 7全景三分屏及90餘種文件格式預覽;售價19999元起,於2026年9月12日開售。
HUAWEI Mate XT 2 非凡大師以三摺疊形態結合大屏辦公、影像創作與娛樂體驗,主打多窗協作、散熱及影像能力。展開後內屏為10.2英寸,搭載麒麟9050 Pro芯片及HarmonyOS 7,售價由19999元起。產品提供16GB+256GB、16GB+512GB及16GB+1TB三個版本。
長鑫科技第六代 DRAM 技術平台取得重要進展,DRAM 產品已完成工程樣片驗證,下一步需通過重點客戶驗證,才可進入批量生產及出貨階段。長鑫科技第五代 DRAM 技術平台於 2026年9月正式量產;最新一代 LPDDR6 已實現全球量產,峯值速率達 12800Mbps,帶寬較 LPDDR5X 提升 60%,功耗降低 20%。
GhostVault 是一項計劃中的 AI 數碼記憶檔案庫,擬以開放權重模型及本機推理保存和搜尋用戶的照片、信件與個人故事。AI 伴侶 The Ghost 會透過 RAG 檢索已儲存的記憶,生成個人化回應與故事,並區分虛構內容和事實回憶。私隱版本會在本機儲存照片及相關資料,用戶可自行管理內容。
聯想 YOGA Pro 15 RTX Spark 開啟盲約,支援在本機運行超千億參數大模型。產品搭載 NVIDIA RTX Spark N1X,配備最高 128GB 統一記憶體及最高 2TB 儲存空間。天禧 AI 超能模式支援本地處理工作流,盲約於 10月8日9:00 開始。