跳到正文
10月20日週二
  1. DEV Community56

    Agent 只修改一個欄位,如何判斷結果正確?

    作者以規則設定任務整理出一套評估方法,分別核對 Agent 是否正確修改目標欄位、保留其他設定,以及遵守只準備、不儲存或啟用的要求。伺服器端驗證只能説明候選設定是否符合檢查條件;作者另以完整內容比對、執行前後的狀態記錄及實際請求軌跡,分辨內容錯誤、狀態變更和被權限拒絕的寫入嘗試。

  2. DEV Community48

    Rebuff 0.1.1 的提示詞注入防護未能標記其示例的簡短版本

    測試顯示,Rebuff 0.1.1 的預設啟發式層未能標記文件示例去掉尾句後的簡短版本,得分為 0.700,低於 0.75 門檻;完整示例則以 0.824 被標記。改寫句、非英文輸入及以工具結果包裝的指令分別得 0.581、0.000 及 0.660;該層使用固定的動詞—物件模板比對。結果只涉及啟發式層,後置的向量及模型層仍可能捕捉它漏掉的內容。

  3. DEV Community59

    Taskuary 是甚麼?AI 助理把電郵和聊天訊息轉成工作項目

    Taskuary 是 MIT 授權的開源 AI 助理,會把電郵、聊天訊息和工單集中到同一工作佇列,再交由用戶現有的編碼 Agent 處理。用戶修改草稿及重新分類工作會形成 LEARNED.md 中的偏好規則;寄出回覆前仍須經用戶批准。文章指出其版本為 v0.3.9.6,Agent 以用戶權限執行;使用託管 AI 時,電郵內容會隨提示詞送往服務商。

  4. DEV Community56

    Oh My Hermes 4.0.0 Zeus 是甚麼?它如何為 Hermes 加入工作流程管理

    Oh My Hermes 4.0.0 Zeus 是建基於 Hermes 的工作流程層,而非新模型或新 Agent,透過專用終端、需用戶審批的記憶及研究、規劃、編碼和設計流程,整理 Agent 工作。它提供 /omh-model 按工作類別選擇模型及推理力度,並可用 ULW 平行執行多項任務;README 同時明言尚未發布實測結果,Windows 環境則會退回 Hermes 原有介面。

  5. DEV Community47

    Perch 的 70 段錄音藥名盲測

    Perch 以 70 段合成語音片段,盲測自家獸醫 AI 記錄工具與一款已在臨牀使用的商業同類產品,檢查漏記及憑空記錄藥名的情況,並公開雙方失誤。商業工具曾把不存在的 Roflexacin 列入病歷;這是共同測試集,並非任何一方的準確率聲明。

  6. DEV Community39

    Top 5 Self-Hosted Deployment Platforms in 2026: Coolify, Dokploy, CapRover, Dokku and Levelrail

    這份 2026 年排名比較 Coolify、Dokploy、CapRover、Dokku 和 Levelrail 五個自託管部署平台,涵蓋伺服器管理方式、部署健康狀態判定、免費功能及遷移難度。作者將自己開發的 Levelrail 排第一,並指出它是榜中最年輕的項目;Levelrail 採用 Apache 2.0,單伺服器部署已列為可用於正式環境,多節點部署及部分新功能仍屬 beta。

  7. DEV Community56

    Darwin-27B-ZTC-v9 在 S1MB 英文版 137 項基準排行榜排名第一

    Darwin-27B-ZTC-v9 在 S1MB 英文版涵蓋 137 項基準的排行榜中取得 Borda 排名第一,評測包含 197 個模型。S1MB 逐項按基準排名後加總;該模型按任務平均分 72.20 排第二,兩種排序回答不同問題。ZTC 模型以單次前向傳播輸出選項概率而不生成文字,權重以 Apache-2.0 授權公開;文章指出,校準概率可用於設定自動判斷門檻。

  8. DEV Community65

    375 款模型在 137 家供應商間的 API 價格比較揭示極端價差

    文章比較 137 家供應商提供的 375 款模型 API 輸入價格,發現中位價差為 0.0%,但 42 款模型的價差超過 200%。其中 openai/gpt-oss-120b 在 13 家供應商的輸入價格介乎 $0.03/M 至 $0.8/M,價差為 2566.7%。文章指出,價差主要來自 GPU 時租託管與專門推理平台的不同定價模式;數據是價格快照,長上下文及不同量化版本亦可能影響比較。

  9. DEV Community78

    GhostAction 新增 Git 歷史掃描,作者實測找回已刪除的 30 組 AWS 憑證及 30 個 GitHub token

    作者以自建測試檢查 Git 歷史掃描效果,從已刪除的提交中找回全部 30 組 AWS 憑證及 30 個 GitHub token。使用 git log -p --all 掃描 52 次提交,輸出需時約 9 ms;以 AWS key ID 前後兩行配對 secret access key,則只成功配對 30 組中的 15 組。文章指出,刪除提交不會清除歷史中的憑證,應先輪換密鑰再刪除。

    推薦理由:作者以自建憑證測試呈現 Git 歷史掃描的找回率與配對邊界,並解釋為何只刪除提交不足以處理已外洩憑證。

  10. OpenAI News65

    OpenAI 模型提升低資源程式語言的程式建置與遷移能力

    OpenAI 表示,最新模型在低資源程式語言的程式建置及 COBOL 遷移評測中均有提升。在最高推理力度下,GPT‑6 Astra 在 20 種語言的 MultiLangBench 平均測試通過率為 87.4%,高於 GPT‑5.6 Sol 的 26.8%;GPT‑6.1 Sol 在低推理力度的 COBOL 遷移評測準確率為 86.6%,GPT‑5.6 Sol 則為 5.4%。

    推薦理由:兩項評測分別檢視跨語言程式建置和 COBOL 遷移,並以通過率、遷移準確率及 API 成本呈現模型表現差異。

  11. DEV Community51

    DE-CIX MCP 伺服器能否讓 AI 智能體安全訂購網絡連線?8 項能力中 5 項涉及採購

    ScriptMasterLabs 對 DE-CIX 開源 MCP 伺服器進行安全閘門測試,發現完整句式下,未經確認的採購與部署指令獲 0.803 分並自動放行。作者統計伺服器列出的 8 項能力中,5 項屬下單或寫入操作,包括預訂、擴增、採購、部署及管理連線。測試中,以範圍短語表述該操作只獲 0.50 分並暫緩;作者建議在工具呼叫本身以允許清單強制限制,信心分數只作第二重判斷。

  12. HuggingFace Daily Papers(社區熱門論文)46

    StreamEval:評測互動式串流影片生成模型

    StreamEval 評測互動式串流影片生成模型,涵蓋五項任務及 300 個時長為 15-300s 的測試案例,並以四個維度、十項指標評分。對 37 個模型的測試顯示,視覺質素和身份保留不代表模型能可靠執行請求或維持狀態一致性;請求執行仍是主要挑戰。

  13. HuggingFace Daily Papers(社區熱門論文)41

    Code2Video-Compass:涵蓋 T2V、I2V 和 V2V 的通用程式碼影片生成綜合基準

    Code2Video-Compass 是一項評估多模態語言模型以程式碼生成影片的基準,涵蓋 T2V、I2V 和 V2V。基準包含 2,104 項任務,涵蓋 10 個類別、24 個子類別,並以 12 項客觀指標和五項主觀指標評估表現。對來自九個模型系列的 15 個專有及開放權重模型進行評估後,研究發現模型在複雜動態及狀態依賴任務上的表現仍面臨挑戰,且任務複雜度提高時表現普遍下降。

  14. elsewhere:文章67

    Kling 4.0 評測:多組實測呈現其電影製作表現

    作者以多組影片實測 Kling 4.0,認為其運鏡、人物一致性和聲畫配合適合電影製作。Kling 4.0 支援最長 30 秒原生生成,並可組合最多 15 項參考素材及最多 10 張關鍵幀。實測涵蓋多語種 MV、15 秒長鏡頭打戲及電影風格短片;作者亦指出,提示詞需精確描述台詞和動作,否則畫面可能像 PPT。

  15. Artificial Analysis 完整文章41

    AA-PersonalityBench 推出:衡量 AI 模型的溝通方式

    AA-PersonalityBench 衡量 AI 模型在沒有系統提示詞時的預設溝通方式及各項特質的呈現強度,而非判斷特質好壞。基準涵蓋 30 項特質、每項 30 條問題,共 900 條;每個模型回答全部問題一次,再由 LLM 評審盲測比較。結果以 Elo 百分位排名及 95% 信賴區間呈現,並整合為 8 項人格指數,另程式化量度 21 項溝通特徵。

  16. DEV Community49

    Even Realities G2 無鏡頭智能眼鏡評測

    Engadget 和 MobileSyrup 評測 Even Realities G2 無鏡頭智能眼鏡,均認為硬件表現令人滿意,但 Even R1 戒指的操控令人沮喪。G2 配備 640 × 350 像素顯示屏、60Hz 更新率及最高 1,200 nits 亮度,可顯示通知、即時翻譯和 AI 助理回答。G2 在美國售價 US$599,R1 另售 US$249,評測指出手勢操作容易出錯。