跳到正文

評測基準

模型到底誰強:Benchmark 成績、評測方法論爭議與排行榜變化的持續記錄。

最新精選

第 21–38 條 · 共 38 條
11月4日週三
  1. DoNews76

    iPhone 中國大陸版 Apple 智能首批功能與測試情況一覽

    iPhone 中國大陸版 Apple 智能已向中國大陸用戶開放開發者 Beta 版測試,首批功能涵蓋寫作工具、視覺智能、照片消除、智繪表情、錄音及通話摘要,以及 Siri 更新。

    推薦理由:文章按場景整理中國大陸版 Apple 智能的首批功能,並記錄 iPhone 16 Pro 測試時的閃退與發熱情況,呈現 Beta 版的實際使用狀況。

10月30日週五
10月28日週三
10月21日週三
  1. CNET79

    iPhone Duo 評測:雖遲入摺疊手機市場,仍搶盡風頭

    iPhone Duo 的一週實測顯示,iOS 27 與內外屏幕配合流暢,摺疊設計實用,並獲 CNET Editors’ Choice Award。7.6 吋霧面內屏具 IP68 防護;在 CNET 的 45 分鐘續航測試中,電量仍有 99%。起售價為 $1,999,主要不足包括沒有 Face ID 和長焦鏡頭,多工功能亦受限制。

    推薦理由:一週實測與續航測試,配合 Galaxy Z Fold 8、Pixel 11 Pro Fold 的比較,呈現 iPhone Duo 在雙屏幕整合、耐用性和相機配置上的取捨。

10月20日週二
  1. DEV Community78

    GhostAction 新增 Git 歷史掃描,作者實測找回已刪除的 30 組 AWS 憑證及 30 個 GitHub token

    作者以自建測試檢查 Git 歷史掃描效果,從已刪除的提交中找回全部 30 組 AWS 憑證及 30 個 GitHub token。使用 git log -p --all 掃描 52 次提交,輸出需時約 9 ms;以 AWS key ID 前後兩行配對 secret access key,則只成功配對 30 組中的 15 組。文章指出,刪除提交不會清除歷史中的憑證,應先輪換密鑰再刪除。

    推薦理由:作者以自建憑證測試呈現 Git 歷史掃描的找回率與配對邊界,並解釋為何只刪除提交不足以處理已外洩憑證。

  2. OpenAI News65

    OpenAI 模型提升低資源程式語言的程式建置與遷移能力

    OpenAI 表示,最新模型在低資源程式語言的程式建置及 COBOL 遷移評測中均有提升。在最高推理力度下,GPT‑6 Astra 在 20 種語言的 MultiLangBench 平均測試通過率為 87.4%,高於 GPT‑5.6 Sol 的 26.8%;GPT‑6.1 Sol 在低推理力度的 COBOL 遷移評測準確率為 86.6%,GPT‑5.6 Sol 則為 5.4%。

    推薦理由:兩項評測分別檢視跨語言程式建置和 COBOL 遷移,並以通過率、遷移準確率及 API 成本呈現模型表現差異。

10月15日週四
  1. The Verge · AI82

    Eiliko 機械人玩具服務資料庫未受保護,用戶對話及個人資料可被讀取

    The Verge 記者 Sean Hollister 報道,Sammy Azdoufal 發現 Energize Lab 的 Eiliko 服務資料庫未受保護,黑客可讀取用戶對話及個人資料,並遠端操控玩具的 LLM。資料庫涵蓋 13 million 條對話及約 68,000 部玩具;部分兒童照片未加密,短錄音則存放於公開網址,與公司稱錄音處理後立即刪除的私隱政策不符。

    推薦理由:報道把對話資料庫、兒童照片及玩具遭遠端操控等問題放在同一案例中,具體呈現連網 AI 玩具的私隱與安全風險。

10月6日週二
10月5日週一
  1. MarkTechPost78

    GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon 與 Claude Fable 5.1:不同工作適合哪款前沿模型?

    MarkTechPost 將 GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon 與 Claude Fable 5.1 的基準、價格及存取條件並列,按工作負載整理各自適用情境。

    推薦理由:文章將四款模型的基準、價格、存取限制和任務成本並列,呈現不同工作負載下的取捨,説明排行榜名次不足以單獨決定選型。

10月3日週六
  1. Artificial Analysis 完整文章76

    GPT-6 Sol 和 Luna 價格約減半,推進成本效率前沿

    Artificial Analysis 的評測指出,GPT-6 Sol 和 Luna 定價約為 GPT-5.6 的一半,Intelligence Index 分數大致持平。

    推薦理由:文章並列價格、單項任務成本與多項基準結果,呈現降本幅度與不同能力變化並不一致,並指出 GDPval-AA v2.1 的回退與交付內容縮短相關。

6月18日週四
  1. Hugging Face Blog68

    Hugging Face 以 agent-eval 評測開源模型操作 transformers 的成功率與成本

    Hugging Face 測試開源模型使用 transformers,CLI 與 Skill 縮短大型模型耗時,卻可能降低小模型成功率。Qwen3-14B 在 classify-sentiment 任務中,clone 環境的匹配率為 100%,Skill 環境則降至 0%。agent-eval CLI 可套用於其他命令列工具,並記錄匹配率、tokens、耗時、錯誤、行為標記及執行軌跡。

    推薦理由:評測不只看任務是否成功,也追蹤 tokens、耗時與操作路徑,呈現 CLI 與 Skill 對大小模型的影響並不一致。

6月10日週三
  1. Ethan Mollick:One Useful Thing77

    Ethan Mollick分享與Claude 5 Fable協作的體驗,並剖析人類角色轉變

    Ethan Mollick實測Claude 5 Fable後指出,模型能按多頁規格連續工作長達12小時,人的角色更像委託者。它在Claude Code中調用多個智能體研究交通資料並製作等時線地圖,也花九個半小時開發可校準人類與AI判斷的研究軟件Concord。Mollick指出,Fable消耗大量 tokens,安全護欄常令它退回能力較弱的Claude 4.8 Opus,而其決策過程不易看見。

    推薦理由:Ethan Mollick以等時線地圖和研究分析軟件的實測,呈現人類角色如何由過程操作轉向委託與驗收,以及模型自主決策帶來的可見性落差。

2025年2月13日週四
  1. Hugging Face Blog60

    分類、文本嵌入與視覺嵌入處理 1B 筆輸入的成本與延遲評測

    這項基準測試比較文字分類、文本嵌入及視覺嵌入的推理配置,估算處理 1B 筆輸入的成本與延遲。在 nvidia-L4($0.8/hr)上,三類任務每 1B 筆輸入的成本分別為 $253.82、$409.44 和 $44,496.51;測試程式碼見 https://github.com/datavistics/encoder-analysis。

    推薦理由:三類實測呈現 GPU、batch size 與並行 VUs 對成本和延遲的影響,並提供可替換模型與硬件重跑的流程,供讀者估算自有配置處理 1B 筆輸入的開支。

2022年10月19日週三
  1. Hugging Face Blog71

    MTEB 提供文本嵌入模型的大規模基準測試與排行榜

    MTEB 是一套評估文本嵌入模型在多種任務上表現的大型基準測試,並以排行榜彙整模型成績。該基準涵蓋 56 個數據集、8 類任務及最多 112 種語言,排行榜彙整 >2000 項結果。

    推薦理由:MTEB 把 56 個數據集、8 類任務納入同一排行榜,並提供自行測試及提交結果的流程,方便按具體任務比較文本嵌入模型。

2018年8月6日週一
  1. OpenAI News73

    OpenAI Five 基準測試結果

    OpenAI Five 昨日以三局兩勝制擊敗一隊排名位於第 99.95 百分位的 Dota 玩家。對手是 Blitz、Cap、Fogged、Merlini 和 MoonMeander,其中四人曾職業參與 Dota;比賽有現場觀眾,直播同時有 100,000 名觀眾觀看。

    推薦理由:這場三局兩勝賽呈現 OpenAI Five 對陣 99.95 百分位 Dota 玩家時的直接結果,亦交代對手中有四人曾以職業身份參與 Dota。