作者構建膳食補充劑證據 RAG,測量系統何時應拒答
作者以 17,698 篇證據級 PubMed 文章建立膳食補充劑 RAG,並評估系統何時應拒答。Golden run 中所有拒答均正確,沒有危險回答漏出,但約 45% 可回答問題也遭拒;評測分為 126 條 golden.jsonl(迭代用)和 199 條互不重疊的 heldout.jsonl(只作測量)。
作者以 17,698 篇證據級 PubMed 文章建立膳食補充劑 RAG,並評估系統何時應拒答。Golden run 中所有拒答均正確,沒有危險回答漏出,但約 45% 可回答問題也遭拒;評測分為 126 條 golden.jsonl(迭代用)和 199 條互不重疊的 heldout.jsonl(只作測量)。
文章示範如何編寫能讓編碼智能體遵循的 SKILL.md,並以 code-review 技能對比含糊版本與具體重寫。重寫版明確設定適用情境、檢查步驟和固定輸出格式,並規定 diff 超過 800 行時先説明、優先檢查風險最高的檔案。
GitHub 分享開源社羣如何促進開發者協作及 AI 生態,並介紹 Replica 和 Open Source Accessibility Framework 兩個新開源項目。
開發者以 Vanilla JS 開發 8 款免費 CBT 焦慮工具,全部在瀏覽器內運作,毋須註冊或後端,亦不收集數據。工具包括思維紀錄、焦慮安定練習、認知扭曲辨識及呼吸節奏器等,並以 MIT 授權在 GitHub 開源。
Microsoft 在 PyPI 發佈的 Agent Framework 套件遭劫持,攻擊者在 1.26.1 和 1.26.2 植入竊取登入憑證及雲平台 token 的惡意程式。
GitHub CLI 2.105.0 加入 Event Streams 支援,讓指令等待 PR 事件,但串流不會重播連線前或中斷期間錯過的事件。文件建議等到串流發出連線狀態訊息後,再讀取 PR 現況,並在事件到達或重新連線後再次核對。相關指令及服務仍屬預覽,Event Streams 須經 GitHub.com 候補名單取得;升級 CLI 本身不會自動開通。
作者抽查 18 個曾合併 Copilot 或 Devin PR 的公開儲存庫,共 469 個提交;單一父提交中有 68.1% 帶有 AI trailer,雙父 merge 提交則為 8.5%。作者指出,署名資訊由智能體自願加入,該比例反映合併方式與署名留存,並非 AI 編寫程式碼的比例。
作者以 Claude Code 擔任 PM、兩個 agy Pane 擔任 coder 並行開發 record2gif,從建立 GitHub 儲存庫到成功將 GIF 儲存到桌面約花一天。
作者檢視自己的 MCP 伺服器工具 list_repos,發現 GitHub API 每次傳回 95 個欄位,而工具只保留 7 個,讓 Agent 無須為未使用的資料消耗 token 或判斷其相關性。這 7 個欄位支援辨認倉庫及判斷活躍度或重要性;作者認為 Agent 工具應按實際用途設計欄位,而非照搬 API 回應。
作者比較 Axleta Repository Packer 與 Gitingest 打包公開 GitHub 儲存庫的結果,Google Search AI 分析認為 Axleta 更適合以 AI 友善格式為大語言模型提供提示詞上下文。分析指出,Axleta 有提示詞注入防護、較精簡的格式及完整版本追蹤資訊;Gitingest 則較易供人閲讀。
文章以 GeekyAnts、Thoughtworks、EPAM、Globant 和 Accenture 為例,整理 AI 參與軟件交付的方式,以及工程師在需求審批、測試和合併環節的把關角色。文中建議在 AI 輔助的 pull request 中列出已批准的行為、相關測試證據及上線後負責的工程師;訂閲取消案例則要求測試確認用戶在已付費期間仍保留使用權,且不會觸發下一次續費。
這篇指南比較 2026 年 LLM 評測框架與選型方法,指出主觀「vibe check」不足以應付多個團隊、多個模型及多個版本的生產環境。完整的 Agent 評測應分別檢查工具選擇、參數提取、工具結果使用、錯誤處理、計劃連貫性和任務完成,並按團隊技術棧選擇 DeepEval、LangSmith、Promptfoo、RAGAS 等框架。
作者回顧自己開發的三個 AI 應用,分別是終端編程智能體、每日新聞聚合工具,以及可與 61 位思想家對話的知識畫廊,並剖析各自的關鍵設計與代價。編程智能體先展示 diff,待用戶確認後才寫入檔案;新聞工具優先使用 Agent,未配置密鑰時回退至 RSS/Atom,並加入去重與失敗告警。思想畫廊以結構化檔案編譯人格,並透過離線及線上評測檢查表現;作者將三個項目的共同取向概括為讓 AI 產出可驗證。
AheadKit 用本地運行的小型模型比較完整與裁剪至五個欄位的 GitHub issue 工具結果,24 項任務的解題數由 9/24 增至 17/24。裁剪組平均每項任務消耗 2,020 tokens,完整結果組為 5,475 tokens;兩組每項任務的二次查看次數相近,分別為 0.92 和 0.88。
Sarah Vogel 以被動掃描器檢查 277 個公開 MCP 伺服器,發現逾 90% 宣告 plain 而非 S256,只有約 40% 宣告 Protected Resource Metadata。
iFixAi 以業務模擬、真實請求及來自不同供應商的評審者,審計 AI 智能體能否完成受託工作。預設測試涵蓋 10 項檢查,完整測試涵蓋 61 項,並按 A 至 F 評級;B01、B08 和 P01 任一必測項失敗,評級最高為 D。
George Mikaelson 以 TypeScript 編寫 MIT 授權工具 shopfront-audit,按五個加權範疇評估小型企業網站,並產生業主易讀的 HTML 報告。
作者開源了「吸星大法.skill」(Skill-Siphon),這是一款面向 Agent 技能的學習提煉工具,可把其中的經驗整理成可學習、可練習和可應用的資料。工具可從高星或熱門技能、以及指定技能提煉內容,預設生成學習指南、上手實踐、來源與邊界三類資料。
GitCheck 是一款開源 CLI 工具,協助開發者在提交前理解並承擔 AI 輔助程式碼變更的責任。它分析已暫存的 Git 差異和 AST,生成有關架構、實作決策及邊界情況的問題,並評估回答、提供回饋。MVP 已可端到端運作,現正尋求經常使用 AI 編碼助手的開發者試用並提供意見。
GeekyAnts、Thoughtworks、Globant、EPAM 和 Accenture 的案例,呈現 AI 編碼智能體及助手在軟件開發生命週期中的不同用法。文章以可重試發票 API 為例,説明如何明確訂定重複請求的處理規則,並用併發測試核對實作。文章建議在 pull request 中連結已批准的驗收條件、附上高風險行為的測試證據,並列明合併後的負責人。
GitHub 為 GitHub Enterprise Cloud 客戶在印度提供數據駐留選項,讓企業在當地託管程式碼及適用範圍內的儲存庫數據。企業客戶可使用 GHE.com 專屬子網域及 Enterprise Managed Users,並透過身分識別供應商管理帳戶和存取權限。印度數據保護委員會已定下 2027 年 5 月全面執行 DPDP Rules 的期限。
Angel Arellano 改進 Kotensor v1.1.0,令 Qwen2-0.5B 的完整 24 層 LoRA 微調可在 2.84 GB JVM 堆記憶體內完成。
這篇指南整理了 9 個 Claude Skills GitHub 儲存庫,並列出各自的安裝指令、授權資訊及截至 2026-11-19 的星數。文章提供安裝前的安全檢查方法,包括閲讀 SKILL.md 和所有腳本、檢查網絡呼叫與資料外傳,以及核對授權和最後提交日期。作者沒有安裝或執行任何 Skill,並指出這份整理並非安全審查。
這份指南整理適用於文件、Git、瀏覽器及資料庫工作的 MCP 伺服器,並説明如何安裝及連接 Claude Code。候選包括 Model Context Protocol 的 Filesystem、Git 和 Fetch 參考伺服器、GitHub 官方伺服器、Microsoft Playwright MCP 及 Google MCP Toolbox。
GitHub MCP 工具的 `list_repos` 按星數或分支數排序時,會先向 GitHub 請求 100 個倉庫,再於用戶端排序並按 `limit` 截取。即使只要求 1 個結果,工具仍會傳回 100 個倉庫的資料,增加傳輸量,而呼叫者無法從結果察覺這項開銷。作者以模擬請求驗證這個差異,並提出按 `limit` 調整過量擷取數量的修正方向,但尚未修改程式。
作者 P33M 開發並公開 social-pulse,這款命令列工具可從 TikTok、Instagram、Facebook、X 和 YouTube 的公開貼文擷取各平台可提供的讚好、留言、轉發、分享、收藏及觀看數,無需平台開發者 API key。
Juwen Lie 開發的 Hexbane 會掃描智能體技能、MCP 伺服器及工具中的隱藏、偽裝和投毒指令,並在執行時守護工具呼叫和聊天。它設有安裝前的 Load gate、每次工具呼叫及工具結果的 Call gate,以及每則用戶訊息的 Chat gate。
文章指出,OAuth 設備授權用於命令列工具和 AI 編碼智能體時,攻擊者可轉交 8 位用戶碼,誘使受害者在真實服務商頁面批准,令存取權杖發給攻擊者控制的客戶端。
Craft Anything 是 ArtCraft 團隊開源的 AI 逆向重建引擎,可先分析網站、App 或遊戲,再由編碼代理構建新項目並對照原作校驗。
作者建立 Skills Orchestrator,讓用戶輸入正在處理的工作,找出值得閲讀的本機檔案及相符詞語。現時探索性測試中,系統在 4 個應保持沉默的提示詞上均沒有觸發,但在 14 個需要技能的提示詞中只找到 7 個預期技能;兩組測試均已放在程式碼庫,供重現及新增案例。
Google Labs 推出實驗性產品智能體 Stitch Loop,可連接程式碼庫與線上即時數據,在軟件發布後持續發現問題、提出改進方案並編寫程式碼。它支援 180 多種整合,會在隔離的雲端沙盒編寫程式碼並建立 GitHub 拉取請求;所有改動均須經人工審核才可合併。
作者介紹以 agent-context-bridge、cited-rag 和 llm-eval-ci 三個零依賴 Python 套件組成的智能體流程,讓回答必須附來源引用或拒答,並由測試及 CI 閘門阻止不合格輸出。
Mastra 團隊公開開源軟件工廠 Mastra Factory,用於維護 Mastra,並可完全部署在自家基礎設施或使用託管版本。Factory 是可配置、可在 Slack 以 @ 標記的智能體看板;上週建立並合併 238 個 PR,另有 630 個由人員合併的 PR。團隊表示 Mastra 每週平均接近 4M 次下載,並已停止接受外部貢獻,改請外部人士提交附詳細重現步驟的問題報告。
Factory 擴大與 Microsoft 的合作,讓企業可在自己的 Microsoft Azure 環境部署自主軟件工程系統,並沿用現有程式碼、身份及管治系統。
OpenSRE SRE agent 是一款以 CI/CD 可靠性為定位的開源智能體,能分析失敗的執行流程、追查原因並提交修復供人審核;項目目前標示為 Public Alpha。
Alan West 分析 Microsoft 對 MAI Code 2 的性能與成本宣稱,指出「5% 成本」是以 50% 推廣價計算。按文中的估算,改用牌價後,MAI Code 2 的成本約為 Claude Opus 5.5 的 10%、GPT-6.1 Sol 的 80%。
作者分享以 AI 智能體梳理老系統本體的流程,先用 Qoder RepoWiki 整理現有程式碼並生成系統文檔,再結合本體論技能產生本體文件和 HTML 可視化頁面。該技能基於 Palantir 官方本體文檔整理並開源於 GitHub 的 chujianyun/wuming-ontology;生成的 .ttl 可用 Protégé 開啟,最後由熟悉系統的人核對及修正。
Schemity Migration Check 可在 CI 中毋須連接資料庫,先重放已合併的舊遷移以重建 schema,再分析 Pull Request 的 SQL 變更,檢查資料遺失、遷移可能失敗、重寫或鎖表等風險。它以免費 GitHub Action 提供,亦會標示外鍵欄位缺少索引等新引入的設計問題。檢查無法得知受影響的資料列數或資料表大小,這些仍須連接資料庫確認。
企業部署 AI 編碼智能體前,應先訓練團隊審查其生成的程式碼,並在合併前逐行核對變更。培訓內容包括盤點智能體可存取的目錄、MCP 伺服器及環境憑證,瞭解模型幻覺,並由開發者自行撰寫測試、手動驗證結果;初期應在不含生產資料的暫存目錄試用。開源智能體更新則應按依賴項升級方式審查。
SpaceApp 的 Nous 每日檢視自身錯誤,將重複原因寫入經驗備忘、每日記憶及待處理佇列;後續升級回合再修改程式碼,並為修正加入測試。檢視會參考過去 24 小時的執行數據和用戶更正,並區分操作失誤與安全防護攔截;只有重複出現的問題才會進入佇列。Nous 不會自行改動程式碼,修正由後續升級回合處理;新安裝時 Nous 預設關閉。