Hugging Face 為 smolagents 加入視覺語言模型支援
Hugging Face 為 smolagents 加入視覺支援,使視覺語言模型可原生用於智能體流程。圖片可以在 agent.run() 時一次傳入,也可透過 step callback 動態加入 ActionStep;文章並以 helium 示範視覺網頁瀏覽智能體。
推薦理由:文章整理了 smolagents 接收初始圖片與逐步加入截圖的兩種方式,並以網頁瀏覽智能體示範如何用 callback 更新執行記憶。
AI 產品與應用的功能上新、改版與商業化動態——誰家的產品變強了、變貴了、能用了。
Hugging Face 為 smolagents 加入視覺支援,使視覺語言模型可原生用於智能體流程。圖片可以在 agent.run() 時一次傳入,也可透過 step callback 動態加入 ActionStep;文章並以 helium 示範視覺網頁瀏覽智能體。
推薦理由:文章整理了 smolagents 接收初始圖片與逐步加入截圖的兩種方式,並以網頁瀏覽智能體示範如何用 callback 更新執行記憶。
Hugging Face 推出 smolagents,讓語言模型智能體可用程式碼編寫動作。它提供以程式碼運作的 CodeAgent,也支援以 JSON/text 編寫動作的 ToolCallingAgent,並可透過 E2B 在沙盒環境執行。
推薦理由:文章説明程式碼表達動作在組合與重用上的優勢,並展示 smolagents 仍支援 JSON/text 工具調用。
Hugging Face 推出 Synthetic Data Generator,讓用户以自然語言描述需求,無需編寫程式碼即可生成文字分類或聊天數據集。
推薦理由:文章展示由自然語言描述生成分類或聊天數據集,再用 Argilla 審核並交由 AutoTrain 訓練模型的流程,也説明如何自訂模型與生成配置。
Hugging Face 的 83 款開源模型現可透過 Amazon Bedrock Marketplace 部署,模型端點由 Amazon SageMaker JumpStart 管理,並支援 Amazon Bedrock API。
推薦理由:材料交代 Hugging Face 的 83 款開源模型如何在 Bedrock Marketplace 部署,以及 SageMaker JumpStart 管理端點、Bedrock API 負責調用的服務銜接方式。
Mistral AI 為 le Chat 推出多項免費 beta 更新,新增網頁搜尋、Canvas、文件與圖像理解、圖像生成及智能體功能。文件與圖像理解由 Pixtral Large 與一款實驗模型支援,圖像生成則採用 Black Forest Labs 的 Flux Pro。新功能將於未來數週逐步推出。
推薦理由:網頁搜尋、Canvas、文件與圖像理解、圖像生成及可分享智能體同列免費 beta,呈現 le Chat 將對話延伸至知識工作多個環節的產品方向。
Mistral AI 推出 Batch API,讓 La Plateforme 上的 Mistral 模型以批次方式處理高流量請求,成本比同步 API 呼叫低 50%。
推薦理由:Batch API 將高流量請求的成本降至同步 API 呼叫的一半,並以檔案提交、處理後下載的流程,適合不要求同步回覆的批量任務。
OpenAI 推出 ChatGPT search,提供快速、及時的答案,並附上相關網頁來源連結。
推薦理由:ChatGPT search 提供快速、及時的答案並附相關網頁來源連結,材料呈現了它的核心搜尋回答形式。
Google DeepMind 與 Hugging Face 宣佈在 Transformers v4.46.0 推出 SynthID Text,讓生成時可加入文字水印,並透過分類器檢測水印。
推薦理由:文章梳理 SynthID Text 從生成端配置到分類器訓練的部署流程,並説明改寫、翻譯與事實性回答對水印效果的限制,便於評估適用場景。
Hugging Face 發佈 Transformers.js v3,新增 WebGPU 支援和量化格式選擇,支援架構總數增至 120 種。官方稱 WebGPU 最高可比 WASM 快 100 倍;此版本另提供 25 個示例專案與範本,以及超過 1200 個已轉換模型。
推薦理由:這次更新把 WebGPU、量化格式選擇及 120 種架構納入同一 JavaScript 庫,並兼容 Node.js、Deno、Bun,展示其瀏覽器與伺服器端部署路徑。
Gradio 5 推出穩定版,讓開發者可用 Python 建構面向生產環境的機器學習網頁應用,並改進效能、介面、即時串流及網絡安全。
推薦理由:Gradio 5 將 SSR、低延遲串流與網絡安全改進納入穩定版,並交代 Gradio 4.x 應用的相容條件,方便開發者評估升級影響。
OpenAI 推出 Realtime API,開發者現可在應用程式中構建快速語音到語音體驗。
OpenAI 為微調 API 加入圖像支援,開發者現在可用圖像與文本微調 GPT-4o。此功能旨在提升 GPT-4o 的視覺能力。
推薦理由:這項更新把圖像納入 GPT-4o 的微調資料,並可與文本一同使用,讓開發者能用兩種資料形式針對視覺能力進行調整。
OpenAI 在 API 提供 Prompt Caching,對模型近期見過的輸入自動提供折扣。詳情見 https://openai.com/index/api-prompt-caching
推薦理由:這項功能將模型近期見過的輸入與自動折扣直接連結,讓讀者瞭解 API 對重複輸入的費用處理方式。
OpenAI 的 API 模型蒸餾可在 OpenAI 平台上,使用大型前沿模型的輸出微調較具成本效益的模型。
推薦理由:這項 API 流程把大型前沿模型的輸出用於微調較具成本效益的模型,概述了在 OpenAI 平台內進行模型蒸餾的基本做法。
Hugging Face 在 Hub 的資料集頁面推出 SQL Console,讓用户直接在瀏覽器以 SQL 查詢和篩選資料集。它由 DuckDB WASM 驅動,不需伺服器或後端;非 Parquet 格式的資料集會自動轉換前 5GB,查詢結果可匯出為 Parquet,公開資料集的結果亦可透過連結分享。
推薦理由:SQL Console 以 DuckDB WASM 在瀏覽器查詢資料集,並示範用 SQL 將 Alpaca 格式轉為對話格式,提供一個可參照的資料整理流程。
HuggingChat 推出 Community Tools,讓使用者可把 Hugging Face 上的公開 Space 轉成模型可直接調用的工具。這些工具可用於理解圖片、生成影片或文字轉語音,也可建立文件 RAG 工具。建立助手時最多可選 3 個工具;該功能目前仍屬實驗階段。
推薦理由:文章展示如何把公開 Space、自建 Gradio 工具和文件 RAG 接入 HuggingChat,並在助手中組合最多 3 個工具,提供從建立到配置的實操路徑。
OpenAI 現已開放 GPT-4o 微調。
Hugging Face 在 Transformers 中提供統一工具調用 API,讓同一套程式碼可跨多個熱門模型系列使用。API 支援 Mistral、Cohere、NousResearch 和 Llama;Transformers 亦加入輔助功能、完整文件與範例,並可將 Python 函式自動轉為 JSON schema。
推薦理由:文章説明統一 API 如何簡化工具定義與聊天紀錄格式,也交代模型輸出的工具呼叫仍需自行解析,呈現目前統一機制的範圍與缺口。
Mistral AI 宣佈在 La Plateforme 開放旗下旗艦及專用模型自訂,並推出 Agents 早期版本及 mistralai 1.0 客户端 SDK。
推薦理由:這次發布把模型自訂、Agents 工作流程與客户端 SDK 更新並列,呈現 Mistral AI 如何涵蓋應用構建中的模型調整、流程編排和程式接入環節。
OpenAI 在 API 中推出 Structured Outputs,模型輸出現在可可靠遵循開發者提供的 JSON Schema。
推薦理由:這項 API 更新説明 Structured Outputs 的核心作用,讓模型輸出可靠遵循開發者提供的 JSON Schema。