ChatGPT 能讀出歌詞,卻難以辨認旋律
作者實測 ChatGPT 語音功能,並測試三種 OpenAI API 路線,發現這些系統能依歌詞辨認歌曲,卻幾乎不能只憑哼唱辨認旋律。在 MTG-QBH 測試中,逐字稿路線和 gpt-audio-1.5 各辨認有歌詞歌曲 71/76 首,gpt-realtime-2.1 辨認 74 首;對 30 段無詞錄音,三者分別只辨認 0、1、1 首。
作者實測 ChatGPT 語音功能,並測試三種 OpenAI API 路線,發現這些系統能依歌詞辨認歌曲,卻幾乎不能只憑哼唱辨認旋律。在 MTG-QBH 測試中,逐字稿路線和 gpt-audio-1.5 各辨認有歌詞歌曲 71/76 首,gpt-realtime-2.1 辨認 74 首;對 30 段無詞錄音,三者分別只辨認 0、1、1 首。
Gemini 3.5 Flash-Lite 和 Gemini 3.1 Flash-Lite 各自處理 9 個 GitHub bug,合共呼叫模型 964 次,兩個模型都只修復 1 個 bug。按付費牌價計算,每個成功修復的 bug 分別花費 $0.561 和 $0.426;作者指出,未計入快取的工作流程計算器估算成本高出 2.4 倍和 1.8 倍。
Axidort Index 掃描 50 個電商網站,AI 購物智能體的評分中位數為 11/100,72% 的網站低於 50 分。低分表示智能體遇到阻礙,例如機械人驗證或加入購物車遭拒,但 Index 沒有公佈各網站在哪個環節受阻。這次掃描只涵蓋單一地點和時間,結果僅反映當時情況,並非定論。
Sarath Kavuru 以同一個附有 Google 風格 docstring 的 Python 函數,比較 14 個 AI Agent 框架於 2026-11-21 預設生成的工具定義;只有 5 個把六項參數描述寫入 JSON Schema,8 個將 Args 區塊留在工具描述中,AutoGen 則以參數名稱代替描述。
vLLM、SGLang 與 NVIDIA TensorRT-LLM 的比較聚焦生產環境自託管 LLM 推理的延遲、記憶體佔用與 GPU 成本。參考測試以 64 個並行序列及 4x A100 80GB 為條件,分析 P99 延遲、前綴快取重用及每 token 成本。
Engadget彙整近兩週的14篇評測,涵蓋 Apple HomeView、Apple TV 4K、HomePod mini 2、Ray-Ban Meta (Gen 3) 等產品。
一項以 184 條問題進行的記憶搜尋實驗發現,加入 cross-encoder 重排序後,正文問題及連結筆記目標的 nDCG 下降。正文問題的 nDCG 由 0.821 降至 0.658,連結筆記目標則由 0.267 降至 0.166;標題問題的 nDCG 上升,而時間性問題樣本僅 4 條,無法支持可靠的一般結論。
作者在隔離 VM 中以 20 個隱藏評分案例比較兩種 AI 編碼智能體修 bug 流程,先復現門檻以 20/20 通過,推測式修補則為 17/20。先復現門檻將累計輸入 token 由 49,801 降至 2,323(減少 95.3%),模型呼叫由 3 次減至 1 次。該流程先要求 5 項最小 bug 復現斷言在原有程式碼上全部失敗,才開放修改;這些斷言涵蓋零金額授權及多餘鍵處理等邊界問題。
Agent Skills Hub 按 43 條靜態規則評級逾 138,000 個開源 AI 智能體技能及 MCP 伺服器,發現 GitHub 星數少於 20 的倉庫嚴重安全風險旗標率約高 9 倍。
Qwen4‑Max 預覽版相較 Qwen3‑Max,轉向真實任務交付,並在原生圖像與影片理解、智能體操作範圍、發布流程和計費方式上有所不同。
作者以 Claude Code、Sonnet 5.5 及自己的 google-docs-mcp 伺服器測試,Code Mode 在三次工具呼叫的任務中,把模型請求由 5 次增至 13 次,估算成本由 $0.191 降至 $0.107,耗時同為 21 秒。
Lumière PayCheck 列出目前評分最高的 10 個加密貨幣價格及市場資訊 x402 端點,全部獲 A 級、100 分,並通過真實付費測試。PayCheck 每 30 分鐘監測逾 140,000 個端點,評估回應速度、價格及收款錢包穩定性,並核實付費測試結果。用戶可透過免費 API 查詢端點評分。
GitHub 開源的 ReviewBench 是 AI 程式碼審查離線基準,以 219 個公開 PR 建立黃金集;未參與建集的資深工程師重新標註真實發現,與基準判斷的一致率為 96.6%。
研究者以相同流程,在 10 個 CVE 案例上測試 agnes-3.0-flash、agnes-2.5-pro 和 sensenova-ds,發現三個模型分別命中 10/10、9/10 和 9/10。兩個漏報案例沒有重疊,但每格只測試一次,命中率仍不能視為穩定比率。跨模型的風險分數中位差為 30,同一模型跨次測試則為 21。
作者讓 Claude 從空資料夾出發,在 $0 現金支出下自行設計、編寫並訓練模型挑戰 GPT-2;三個主要關卡中兩關未達預設標準,另一關在 HellaSwag 超越 GPT-2 small。
將表格截圖轉成試算表時,OCR 雖能辨認文字,卻未必能正確還原欄位;測試的無框線樣本有 34 格,其中 11 格位置錯誤。以文字框座標重建表格,在有框線的樣本中錯 4 格、無框線樣本錯 11 格;沿框線切分則有框線樣本全部正確,無框線樣本仍錯 11 格。文章指出,對無框線且有換行儲存格的組合,這次測試未找到可靠方法。
Keploy 透過 eBPF 在內核層錄製真實流量,自動生成 API 測試用例及依賴 Mock,並以回放結果對照錄製快照檢查回歸。回放比對可檢查行為有否偏離錄製基線,卻不能判斷原有行為是否正確;真實流量也未必涵蓋邊界情況。文中指出 test-gen 可透過 AI Agent 參照錄製資料及 Swagger、OpenAPI 文件補充用例,錄製資料放入 Git 前須先脱敏。
Hermes Agent 是 Nous Research 開發的開源個人 AI 智能體,核心特色是跨對話累積記憶,並按使用經驗建立及更新技能。作者經三週測試後表示,技能累積令後續文章撰寫更快;但 Hermes Agent 支援 6 個訊息平台,少於 OpenClaw 的 24 個,設定較不易上手,進階設定文件亦較薄弱。
Clockify 提供免費方案及四個按席位收費的付費方案,付費功能涵蓋開票、排班、活動監察和企業管理。所有方案均有自動追蹤器,但記錄轉成工時項目仍須手動處理;Pro 方案另有活動監察及可選截圖。TimeUno 不需計時器,可記錄 AI 工具使用情況,但沒有免費方案、手機應用程式或 Linux 桌面應用程式。
InferenceKey 用 24 GB RTX 4090 配合 Claude Code 測試 SenseNova 6.8 Code2Video,10 分鐘完成 12 秒片段,40 分鐘後仍未完成影片。
文章按 2026 年 11 月 21 日的公開價格比較 Cursor、Devin Desktop 與 GitHub Copilot,估算 80 項相同智能體任務的模型用量費介乎 $1.07 至 $32.06。
Pi.dev 是一款在終端執行的 AI 編碼助手,評測認為它適合特定工作流程,但並非人人合用。它支援 OpenAI、Anthropic 及 Ollama 的模型,閒置時通常使用少於 50 MB RAM,並以 MIT 授權開源;軟件免費,AI 費用按使用量支付。
一名律師花 9,450 美元,以 12 張二手 NVIDIA V100 搭建本地 AI 集羣運行 DeepSeek-V4.1-Flash,單請求、單流的程式碼生成最高達每秒 184 個 token。
DeepSeek 限額後,文章比較官方數據匯出、Chat Demo、DSH 社區遷移插件及 AI導出鴨四種對話遷移方案。官方匯出可保留全量原始資料,Chat Demo 可續聊,DSH 可保留較完整的對話結構。AI導出鴨支援 8 種格式,毋須 API Key 或安裝插件,但需手動複製內容,不能備份整個帳戶。
雷鋒網實測 Kling Image 4.0,顯示它可按簡短提示詞生成海報、電商詳情頁及連續分鏡,亦可局部修改圖片文字。新模型原生解像度提升至 8K、單張圖片最多支援 2000 字、一次最多生成 10 張連貫圖片,並內置 70+ 款預設字體。測試亦發現説明小字清晰度、模型自行補充的資訊準確度及跨鏡人物一致性仍有不足。
Claude Opus 4.6 在深度推理、長上下文分析及技術工作方面表現突出,評測認為它適合重視這些能力的開發者。Claude 的上下文窗口為 200K tokens;Claude Sonnet 4 API 輸入價格為 $3/MTok,適合日常編碼。相較之下,ChatGPT 的多模態功能及外掛生態較廣,Claude 則在純編碼和技術分析方面更具優勢。
Gemini 4 Hydrogen 在 Google 模型卡列出的 9 項雙方都有分數的基準中勝出 8 項,GPT-6.1 Terra 則在 Terminal-Bench-Science 0.1 以 58.3% 對 51.4% 領先。
文章比較 inclusionAI 的 Duo v1 全雙工世界模型四組權重,建議研究者以 47.0 GB 的 FP8 Duo-1.0-distill-quant 作實驗起點。
《全國省市出海能力評測報告》按六大維度評估全國31個省市,廣東以89.7分大幅領先,浙江、上海、江蘇、北京構成出海第一梯隊。上海跨境人民幣結算佔全國47%,北京以95家獨角獸企業領跑,廣東跨境電商規模超7千億元。各地依託製造、金融與高端服務、數字經濟及電商內容等優勢發展出海。
Pin Xiong 使用 strands-agents 1.63.0、strands-agents-tools 0.8.11 和 amazon.nova-pro-v1:0,進行九組實驗,比較 Graph、Swarm 與 Workflow 在同一個作業系統程序內組合時的資料傳遞、失敗處理及成本。
OpenAI 推出 MedChemBench 評測 AI 的藥物化學推理能力,GPT-6.2 Astra 在 xhigh 設定取得 84.5% 可得分數。基準涵蓋 99 道題目、117 篇論文及專利中的 761 個分子結構,測試模型根據已公開資料重建研究決策。分數不代表成功研發藥物的機率;模型能否發現新藥或改善實驗室決策,仍未獲證明。
RevHive 作者補做對照測試後發現,原先安全 Agent 的 10/10 結果並非來自設定的 deepseek-v4-flash,而是觸發速率限制後改用的 sensenova-6.8-flash-lite。10 個普通提交的回退案例中,7 次沒有評論,另外 3 次則把程式回歸誇大為安全漏洞。作者計劃以 100 個提交、3 或 4 個項目和固定模型進行盲測。
作者實測 Fathom AI,發現會議摘要和數字整理可靠,但轉錄人名、行動項目歸屬及跟進電郵仍會出錯。兩場腳本會議的逐字稿字詞準確率約為 96% 和 92%;Ask Fathom 能指出未有討論的資訊,並連結至錄音中的相關片段。免費方案提供不限次數的錄音、轉錄、儲存及片段;作者建議分享前核對人名,若需要上傳錄音或更準確的逐字稿,可考慮 Otter 或 MeetGeek。
Warp、iTerm2 與 Alacritty 各自採取不同設計方向,分別側重 AI 輔助及現代化介面、豐富功能,以及高速文字渲染。Warp 的 AI 功能結合 GPT-4 和廠商自家微調模型;Alacritty 啟動時間低於 100 毫秒,而 iTerm2 僅支援 macOS。
OpenAI 推出 MedChemBench 基準測試,評估 AI 模型在藥物化學研究中的推理能力;基準包含 99 道題目,取自 117 篇論文與專利,涉及 761 個分子結構。
OpenAI 發佈 MedChemBench,評估 AI 模型在藥物化學領域的推理能力。基準包含 99 道題目,涵蓋 761 個分子結構;GPT-6.2 Astra 在 xhigh 檔取得 84.5% 可用分,結構重建得分為 95.4%,化合物篩選與數值預測則僅約 50%。OpenAI 指出,基準反映模型應用歷史知識的能力,不等同於真實新藥發現能力。
tappers 在 VM221 以 gemini-3.8-flash 比較兩種編碼智能體 linter,附帶具體修復提示的方案在隱藏評分套件同樣取得 20/20(100%),並將累計輸入 token 減少 69.6%。該方案令規則手冊查閲由 1 次降至 0 次、模型呼叫由 3 次減至 2 次,執行時間由 21.60s 降至 14.86s。
BBC 使用四個模型的免費版本搜尋黑色星期五 55 吋電視優惠,結果好壞參半;測試並非嚴謹的科學實驗,推薦中出現失效連結、價格或尺寸不符,以及超出預算的商品。ChatGPT 首選是 Joybuy 上售價 £499、原價 £649 的 Hisense 電視,但它另列出的 John Lewis 和 Richer Sounds 連結均顯示該電視已不再網上銷售。
作者測量 Apify 託管 MCP 伺服器上的 10 個 Actor,工具定義共 27,797 tokens,單次三列結果最高達 7,434 tokens。
Monomem 與 agentmemory 在 LongMemEval-S 評測中的分數差異未達統計顯著,作者將結果視為平手。作者以同一數據檔重跑 agentmemory 自行發佈的評測,重現 84.7%;Monomem 得分 86.0%(470 題中答對 404 題),exact McNemar test 的 p = 0.29。