跳到正文

多模態

文本之外的能力:視覺理解、圖文混合、音訊與影片的輸入輸出的模型與產品進展。

217條精選相關主題圖像生成AI 影片語音與音頻

最新精選

第 121–140 條 · 共 217 條
10月3日週六
  1. Meta AI:Research Blog76

    Meta 發佈 Muse Spark 1.1,並開放 Meta Model API 公開預覽

    Meta 發佈多模態推理模型 Muse Spark 1.1,稱其較 Muse Spark 在工具與電腦操作、編碼及多模態理解方面均有重大提升。模型可協調多個子智能體並管理 1 million tokens 的上下文窗口;開發者現可透過公開預覽中的 Meta Model API 使用,Meta AI app 和 meta.ai 亦提供 Thinking 模式。

    推薦理由:Muse Spark 1.1 聚焦智能體工作流,涵蓋多智能體協作、電腦操作與 1 million tokens 上下文,並透過 Meta Model API 開放公開預覽。

9月29日週二
  1. Microsoft Research61

    Microsoft Research 介紹 Quine 生物學 AI 研究系統並開放 Fellows 計劃申請

    Microsoft Research 介紹 Quine,一個結合生物學多模態世界模型與互動式研究流程的 AI 研究系統,並開放首屆 Quine Fellows 計劃申請。

    推薦理由:Quine 將跨生物模態的世界模型接入文獻、科研工具與實驗迴圈,並以胰臟癌細胞狀態轉換案例展示預測如何進入濕實驗驗證。

9月22日週二
9月16日週三
  1. gihyo.jp79

    Google 發佈 Gemini 3.8 Live 及 Gemini 3.8 Live Extended Thinking

    Google 於 2026 年 9 月 15 日發佈語音對話模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,兩者可在持續對話時理解視覺資訊及非同步呼叫外部工具。

    推薦理由:兩款模型分別面向快速、具成本效益的語音智能體與複雜多步任務,並可在不中斷對話下呼叫工具,清楚區分兩者的適用場景。

8月28日週五
8月14日週五
8月12日週三
  1. Google Research68

    Google Research 推進 AMIE 邁向專家級視聽臨牀會診

    Google Research 展示基於 Gemini 和 Project Astra 的 AMIE (Video),在模擬即時視像會診中,核心臨牀能力獲評與基層醫生相當。

    推薦理由:研究以 300 場模擬視像會診比較 AMIE (Video)、文字版 AMIE 與基層醫生,呈現視聽感知和虛擬檢查的表現差異,並交代病人演員研究的適用邊界。

8月10日週一
  1. Hugging Face Blog77

    Meta 發佈 Muse Glimmer 30B 多模態模型,採用 Apache 2.0 授權並面向本地智能體應用

    Meta 發佈 Muse Glimmer,一款由 Muse 蒸餾而來、面向本地智能體應用的多模態 30B 模型,採用 Apache 2.0 授權。模型由 2B ViT-style 視覺編碼器和 28B 文字解碼器組成,支援圖像、影片輸入及多模態工具調用。

    推薦理由:文章把 Muse Glimmer 的本地智能體定位、30B 架構與 transformers、llama.cpp、vLLM 等入口連起來,提供從本地推理到託管部署的實作參考。

8月4日週二
  1. Mistral AI62

    Mistral AI 發佈 3B 多模態安全分類器 Shieldstral

    Mistral AI 發佈 Shieldstral,一款 3B 開放權重多模態安全分類器,可用自然語言政策評估文字與圖像,無須重新訓練。它將內容審核設計為可在推理時指定政策的二元問答,並輸出校準後的安全分數;Mistral 稱其在多項基準上匹配或超越模型規模最高達其 7x 的開放權重安全模型。

    推薦理由:將審核政策置於推理時的自然語言問題中,使同一個 3B 模型可按部署情境調整文字與圖像判斷,無須重新訓練。

8月3日週一
  1. gihyo.jp77

    參數量達 2.4T 的 Qwen 家族最高效能模型 Qwen3.8-Max 發佈,開放權重版預計下週公開

    Alibaba Qwen 於 2026年8月3日正式發佈 Qwen3.8-Max,稱其為 Qwen 家族迄今效能最高的模型。該模型以 Qwen 3.5 架構為基礎,活躍參數量為 950億,最高可擴展至 2.4T 參數;公司稱它在多個領域的基準測試中,表現達到或超越部分競品旗艦模型。

    推薦理由:文章並列阿里巴巴自測的多領域基準結果、QwenCloud API 價格和下週開放權重安排,讓效能比較與使用條件一併呈現。

7月30日週四
  1. Google DeepMind66

    Google DeepMind 發佈 Gemini Robotics ER 2,支援影片理解、任務編排與多機械人協作

    Google DeepMind 發佈 Gemini Robotics ER 2,這款面向機械人的具身推理模型可理解連續影片、編排多步任務,並支援多機械人協作。它在任務進度分類達 57.4% 準確率,關鍵時刻定位達 91.3% 準確率、平均絕對距離為 0.96s。

    推薦理由:文章將影片進度追蹤與多機械人協作納入模型更新,並提供任務評測數據,讓讀者掌握 Gemini Robotics ER 2 的具身推理能力變化。

7月28日週二
  1. Google DeepMind69

    Gemini Robotics 2 為機械人帶來全身智能控制

    Google DeepMind 發佈 Gemini Robotics 2 系列模型,為機械人帶來全身控制、靈巧操作及多機協作能力。系列包括將視覺與語言輸入轉為動作控制的 Gemini Robotics 2、用於具身推理與多步任務規劃的 Gemini Robotics ER 2,以及可在機械人裝置本地運行的 Gemini Robotics On-Device 2。

    推薦理由:全身控制、靈巧操作、多機協作與本地適配均有具體案例,呈現 Gemini Robotics 2 系列面向機械人任務的能力佈局。

7月21日週二
7月16日週四
  1. gihyo.jp76

    Thinking Machines Lab 發佈首個開放權重模型 Inkling,支援文字、圖像及語音推理

    Thinking Machines Lab 於 2026年7月15日發佈首個 AI 模型 Inkling,公開模型權重,支援文字、圖像及語音輸入並以文字輸出。

    推薦理由:Inkling 可按任務連續調整推理用量,降低成本與等待時間,或為較難任務分配更多推理資源,呈現推理開銷與任務需求之間的可調取捨。

  2. Moonshot AI:Kimi Blog84

    Moonshot AI 發佈 2.8T 參數模型 Kimi K3

    Moonshot AI 發佈 Kimi K3,稱其為全球首個開放 3T 級模型;它有 2.8T 參數、原生視覺能力及 1-million-token 上下文窗口。

    推薦理由:資料披露 Kimi K3 相較 Kimi K2 的整體擴展效率提升約 2.5×,並交代其整體表現仍落後最強的專有模型。

6月10日週三
  1. gihyo.jp84

    Anthropic 開始一般提供 Claude Fable 5,Claude Mythos 5 限向指定機構提供

    Anthropic 於 2026 年 6 月 9 日開始一般提供 Claude Fable 5,並稱其在軟件工程、知識工作、科學研究及圖像理解方面表現突出,長而複雜的任務中領先幅度更大。

    推薦理由:文章並列 Claude Fable 5 與 Claude Mythos 5 的適用對象和安全處理,亦交代訂閲期限及 API 價格,呈現一般提供與受限提供的差異。

6月9日週二
  1. Google DeepMind72

    Google DeepMind 發佈 Gemma 4 12B 統一免編碼器多模態模型

    Google DeepMind 發佈 Gemma 4 12B,定位為可在筆記型電腦本機運行的多模態模型,並為中型模型加入原生音訊輸入。它採用免多模態編碼器架構,將視覺和音訊輸入直接整合至 LLM backbone;標準基準表現接近 26B MoE,總記憶體佔用不足其一半。Gemma 4 12B 以 Apache 2.0 授權釋出,可透過 LM Studio、Ollama 等工具試用。

    推薦理由:Gemma 4 12B 的免編碼器設計、接近 26B MoE 的基準表現與較低記憶體佔用,提供比較中型多模態模型架構和本機部署定位的具體依據。

  2. Hugging Face Blog70

    智能體如何串接兩個 Hugging Face Spaces 建成巴黎地標 3D 畫廊

    編碼智能體串接兩個 Hugging Face Spaces,生成巴黎地標圖像及 3D Gaussian splats,並將畫廊部署為靜態 Space mishig/monuments-de-paris。

    推薦理由:案例展示了透過 Hugging Face Spaces 的 agents.md 串接圖像生成與單圖 3D 重建,並以各一句提示複用到日本及埃及主題畫廊,呈現多媒體工作流的可遷移性。

6月5日週五
  1. Hugging Face Blog62

    NVIDIA 發佈 Nemotron 3.5 Content Safety,整合多模態安全判定與自訂政策

    NVIDIA 發佈 Nemotron 3.5 Content Safety,將多模態輸入、多語言覆蓋、自訂企業政策與可審計推理整合至單一 4B 模型。模型基於 Google Gemma 3 4B IT,明確訓練覆蓋 12 種語言,並承接其約 140 種語言的 zero-shot 泛化;可選 THINK mode 會輸出推理軌跡。

    推薦理由:Nemotron 3.5 將多模態判定、自訂政策和可審計推理整合於 4B 模型,並附訓練資料集,提供企業安全審核的部署參考。