GDS K S 建立 awesome-selfhosted-ai 清單,收錄 166 個自架 AI 專案並每週檢查狀態
GDS K S 建立 awesome-selfhosted-ai,收錄 166 個可在自有硬件上運行的開源 AI 專案,並每週自動檢查狀態。清單涵蓋 16 個類別,GitHub Action 會記錄 stars、最後推送時間、授權及狀態;已封存、刪除或一年沒有推送的項目會移至 Unmaintained 檔案。
GDS K S 建立 awesome-selfhosted-ai,收錄 166 個可在自有硬件上運行的開源 AI 專案,並每週自動檢查狀態。清單涵蓋 16 個類別,GitHub Action 會記錄 stars、最後推送時間、授權及狀態;已封存、刪除或一年沒有推送的項目會移至 Unmaintained 檔案。
OpenDesk AI 是一款開源 AI 助手,可搜尋用戶的文件、以自然語言回答問題,並從個人知識庫擷取相關段落,生成有文件內容根據的答案。計劃採用 Gemma、文件檢索及本機推理;所需內容安裝完成後,設定妥當的版本可離線運作。本機推理有助讓資料留在用戶的電腦上,但仍取決於硬件,且離線使用前須先下載模型。
作者在 Claude Code 加入 RAG,令訊息可在回答前觸發本機語義搜尋,並把相關記錄交給 AI。系統以 bge-m3 將記錄轉成嵌入向量,按搜尋結果差距控制注入量,最多五項、2,048 bytes;超過 300 ms 未有結果便不注入。索引和搜尋程序均在 Mac 本機運行,文章提供五步設定流程及可直接交給 Claude Code 的提示詞;作者測得 60 次搜尋的中位數為 69 ms。
Pardeep Gir 建立 Marigold Archive,讓家庭錄音可在本機離線轉錄並接受內容提問。它以 faster-whisper 轉錄,再用 multilingual MiniLM、ChromaDB 和 Gemma(透過 Ollama)檢索及生成答案;每個答案附故事、時間戳和錄音原文引句,找不到相關內容時則返回固定句子。
企業使用 AI 處理私有業務資料時,可限制模型接收的內容、由應用程式執行敏感計算,並按資料要求選擇模型部署位置。RAG 只會把相關資料傳送給 AI 服務,所選資料仍會由服務處理。即使模型在私有環境運行,組織仍須負責安全、更新、監控及伺服器維護;應用程式亦須按用戶權限限制可檢索的資料。
醫療預約助理應採用分階段檢索,先從指定資料集取回候選項目,再剔除不符合來源要求的項目,最後才對有限範圍內的結果重新排序。每項候選資料都須保留來源網址或穩定文件識別碼,並以可追溯性、資料集有效性、相關性及確定性排序作為排序依據。內容更新和刪除應透過資料集維護處理,不能只靠調低評分。
InfoMind AI Enterprise 是一個根據文件內容回答問題的檔案庫,每個答案均附有來源段落,證據不足時會拒答。使用 llama3.2:3b 時,一個可回答的問題在 5 次測試中均遭錯誤拒答;改用 llama3.1:8b 後,同一問題 10 次均獲正確回答。系統可在本機離線運行;使用託管示範時,問題相關段落會傳送至 Ollama 伺服器。
面向德國法律實務,文章提出以本地可逆假名化流程及 RAG 架構,降低大語言模型產生虛構判例引文和委託資料外洩的風險。Python 流程會以一致佔位符替換個人資料,映射表只保留在律所本地。判決文本按段落及裁判邊碼切分,並在檢索生成後加入案號驗證器。
AI 產品工程師兼創辦人 Naser Sadrmanesh 將為客戶反覆重建的工具整理成四個 MIT 授權開源項目。llm-search-eval 以共用標籤池評估搜尋排序;woocommerce-mcp 提供 47 項工具,並要求寫入操作先預覽、再確認;commerce-agent-skills 收錄 29 項電商技能。
一項小型 RAG 實驗微調了預訓練重排器,確認權重更新及檢查點載入正常,但在合成留出測試中沒有觀察到排序提升。測試只有兩條可回答問題,原始與調整後的重排器 nDCG@5 均為 1.0,配對差異為 0。真實領域評估及人工評分尚未完成,現有結果只支持實驗流程可運作,不能證明微調改善了答案品質。
Node.js 的 CRM「Ask-Your-Docs」語義搜尋應按故障影響範圍選擇直接 API 或 Gateway:需要在更換供應商時維持 CRM 動作路徑,可用 Gateway;工作流程狹窄且團隊能自行維護所有 Embeddings adapter,則可直接使用 API。系統應在缺少支持段落或聊天完成失敗時拒絕建立 CRM 動作,並在更換供應商後重新執行評測。
作者以 LangGraph 建構可調用工具的 ReAct RAG 助手,並透過 Terraform 將其封裝為容器映像部署至 AWS Lambda。助手可按問題決定搜尋私有知識庫、再次檢索、調用計算器或直接回答;FAISS 索引隨容器映像部署,更新知識庫需重建索引並重新部署。
Cognee 的開源 DEV.to 數據源連接器可將開發者教程、工程見解及技術文件匯入 AI 智能體的記憶圖譜。連接器支援按標籤或作者篩選文章,並提供文件模式及 DLT 數據源模式,讓 Cognee 建立知識圖譜並搜尋互相關聯的內容。
維基媒體基金會就《紐約時報》對 OpenAI 和 Microsoft 提起的版權訴訟提交法庭之友意見書,主張採取較細緻的合理使用判斷。基金會認為,過度收窄合理使用可能抑制科技創新,一概適用則可能令網絡封閉並削弱知識來源。它主張在特定情況下,將版權內容用於訓練與原始資料有別的大語言模型,或用於 RAG,視為合理使用;但反對 RAG 在未註明來源下重述既有文章。
GhostVault 是一項計劃中的 AI 數碼記憶檔案庫,擬以開放權重模型及本機推理保存和搜尋用戶的照片、信件與個人故事。AI 伴侶 The Ghost 會透過 RAG 檢索已儲存的記憶,生成個人化回應與故事,並區分虛構內容和事實回憶。私隱版本會在本機儲存照片及相關資料,用戶可自行管理內容。
Marigold /router 是一個離線優先的口述歷史工作室與虛擬追思空間,用來保存家庭回憶、照片、食譜和語音備忘錄,不會把親人塑造成聊天機械人。資料儲存在瀏覽器本機,無須帳戶、資料庫或雲端服務;完整 AI 功能使用 Ollama 和 Gemma 4 e4b,Faster-Whisper 則可選擇用於本機語音轉錄。追思指南只根據檔案內容回答,缺少資料時會拒絕猜測。
指南建議以 50 至 200 條真實問題建立 RAG 聊天機械人的評測集,納入無法回答、過時政策、權限限制及提示詞注入等案例,並在每次變更後重跑。
The Last Echo 是一款以本機 AI 保存及檢索家人故事、聲音、照片與回憶的工具。它以 Whisper 將錄音轉成文字,由 ChromaDB 檢索相關記憶,再讓本機語言模型根據檢索內容生成對話回覆,整套 AI 流程毋須外部 AI API。
The Last Remembering 是一款以開放權重 AI 建構的開源離線工具,讓家庭保存口述歷史、食譜和回憶,避免雲端依賴及冒充逝者。系統在本機以 Whisper 轉錄錄音,並用 Google Gemma 提取有逐字引句佐證的事實;用戶須審核後才可儲存。資料可匯出為 .ofrenda 檔案,並透過 SQLite 保存在本機。
文章提供多租戶 RAG 存取控制的測試方法,主張先驗證未獲授權的文件不會進入生成上下文,再評估答案品質。文中以兩個租戶和合成文件示範身份、租戶及羣組權限檢查,並列出撤銷成員資格、快取答案、引用權限及權限查詢失敗等測試情境。
作者逐一實測 DeepSeek Harness 的 10 款熱門插件,涵蓋插件市場、圖片 OCR、本地檔案引用、搜尋、長期記憶、費用監控及介面與桌面工具。文章建議不要一次安裝全部插件,而是先裝 dshmarket 和 modlens,再按偏好選擇 dsh-web-all 或 dsh-better-sidebar,最後按使用場景補充其他工具。
文章建議企業同時使用雲端 AI 閘道與第三方大語言模型 API 聚合平台時,按「單一策略所有者」原則分配路由、重試等決策,避免兩層重複處理。雲內閘道宜負責用戶及租戶身份、業務路由、預算與審計;聚合平台提供模型及數據工具資源,並回傳實際執行資訊。文章亦列出模型卡與供應卡、端到端重試預算、會話黏性及可觀測性驗收方案。
維基媒體基金會在涉及 OpenAI 的版權訴訟中,請求法院準許提交法庭之友意見書,主張分開判斷 AI 訓練與聊天機械人複製網站內容是否屬合理使用。意見書認為,通用模型訓練很可能屬合理使用,但 RAG 聊天機械人為回答用戶問題而複製網站內容則很可能不屬合理使用;使用 RAG 的公司應遵守出版商的授權條款。法官尚未裁定是否接納意見書或相關合理使用問題。
電商與金融採購客服機械人的核心考量不同:電商重視峯值承載與任務閉環,金融則重視數據邊界、權限控制和審計追溯。阿里雲瓴羊 Quick Service 支援萬級並發,P99 響應時間可控制在 1.5 秒內,並提供私有化部署、RBAC 權限控制及日誌審計。平台的 AI 問答準確率可達 93%,採購時應按場景需求透過 POC 驗證。
航天軟件擬投資約10.49億元,建設面向航天產品全生命週期的PLM+CAX高端工業軟件項目,計劃自主開發PLM、CAD、CAE、CAM、MOM、MRO六款產品,議案尚需股東會審議。北京神舟航天軟件技術股份有限公司一項基於檢索增強生成與智能體的機械工藝設計方法專利於10月27日公開,目前處於審中狀態。該方法可生成工藝設計文件,並輔助編制及自動化合規審查。
Wikimedia Foundation 向法院申請許可,擬在 OpenAI 版權侵權合併訴訟中提交不支持任何一方的法庭之友意見書。基金會主張,將版權作品用於通用 LLM 預訓練很可能屬公平使用;ChatGPT 的 RAG 則很可能不屬公平使用,並應遵守相關平台或出版者的授權條款。
文章將提示詞注入按攻擊內容進入智能體的途徑及延遲方式,分為直接、間接、儲存型和跨智能體四類,並指出沒有單一防護能涵蓋全部類型。文中分別以模型防護措施、執行時檢查、記憶完整性與檢索檢查,以及逐跳身份和政策,對應四類攻擊。
EleutherAI 的 Deep Ignorance 研究發現,預訓練數據過濾可令 6.9B 模型在 WMDP-Bio 接近隨機水平,同時大致保留無關知識基準的表現。過濾模型即使以 300M tokens 專家標註的生物風險論文微調,WMDP 表現仍低於未過濾基線。但在提供論文摘要作上下文的開卷測試中,過濾模型表現接近基線,顯示數據過濾不能阻止模型利用上下文中的相關資訊。
GEO 是透過整理真實、可核驗的資訊,讓 AI 更容易檢索、讀懂並判斷可信的工程實踐。文章拆解 RAG 的檢索、切片與生成流程,並歸納來源、結構、事實密度、時效性和多源一致性五項可信訊號。相較 SEO 著重網頁排名,GEO 著重語義塊的召回率與被採信機率。
WikEM 與英國臨牀 AI 助手 iatroX 展現兩種醫療知識工具模式,核心問題是誰核實內容,以及指引更新後答案多久能跟進。WikEM 網站列有 71,428 個頁面、涵蓋 15 種語言;iatroX 稱其臨牀指引會在發布後 24 至 48 小時內同步。文章以 Tabibu 為例,指出答案應引用可追溯來源,並在無法查證時明確説明。
RepoGhost AI 是一個程式碼庫調查平台,結合 Git 智能、程式碼分析、語意搜尋及開源 AI,協助開發者找回專案中的程式碼與歷史脈絡。平台計劃使用 Gemma、Ollama 和 RAG,透過本機推理回答程式碼庫相關問題;最終模型整合及推理結果會按實際完成情況記錄。
軟件開發者可在 2027 年前學習 25 款工具,涵蓋 AI 編程、雲端與 DevOps、AI Agent 與 LLM 工程、系統設計、後端、測試及安全。文章按職位列出工具優先次序,並建議透過實作項目展示技能。
Glance 將生成與重排序整合至同一個 9B backbone,透過共享預填上下文及輕量適配器和 pointer head 為候選段落評分。經 39 分鐘 MS MARCO 微調後,Glance 在 SciFact 和 NFCorpus 的 nDCG@10 分別為 0.741 和 0.345,高於 bge-reranker-v2-m3 的 0.721 和 0.326。
Get Anything 示範使用 Apify Actor「get_anything/llm-web-scraper」將網頁主要內容轉成 Markdown,連同 metadata 和近似 token 數量供 RAG 使用。
文章示範如何用 Apify 的 AI Web Search Scraper,一次完成 DuckDuckGo 搜尋、擷取頁面並清理成 Markdown,毋須搜尋 API key。文中提供 Python 範例,以每頁字數上限控制提示詞內容,並按搜尋排名編號來源,方便加入引用;亦可透過 Apify MCP server 接入 MCP 客戶端,讓助理自行搜尋和讀取網頁。
向量資料庫不適合作為 AI 智能體的持久記憶,因為語義相似度無法判斷事實是否仍有效,也難以掌握狀態變化與事件先後。多輪智能體基準研究顯示,少於 2% 的記憶框架能處理動態遺忘或狀態修剪。搜尋適合檢索靜態資料,記憶則需要追蹤現況、變更時間及導致決策的過往事件。
Cohere Rerank v5 Pro 與 Fast 已在 Microsoft Foundry 以 Preview 提供,文章比較兩者的適用情境並示範 C# 呼叫方式。
Akamai 推出 Akamai Inference 和 Akamai Agent Sandbox 的測試版,分別用於在 Akamai Cloud 部署 AI 模型,以及在隔離環境執行 AI 智能體生成的程式碼。
Kakao 開源兩款針對韓語搜尋優化的嵌入模型,分別為 3B 參數的 Kanana-2-3b-embedding 和 1.3B 參數的 Kanana-2-1.3b-embedding。內部評測顯示,兩款模型的韓語搜尋表現優於參數規模相近的全球開源模型,英語表現相若,記憶體用量和推理速度則提升數十倍或以上。模型採用 Kanana Open License,按授權條款可作商業用途。
Muhammad Saud 撰寫 Ragas 0.4.3 實作指南,説明如何以四項指標評估 RAG 流程,分別檢查生成器和檢索器。Faithfulness 與 answer relevancy 用於診斷生成器,context precision 與 context recall 用於診斷檢索器;後兩者需要參考答案。