跳到正文
Mistral AI·· 2024-11-18精選AI 評分74

Mistral AI 發佈 124B 開放權重多模態模型 Pixtral Large

Pixtral Large

AI 導讀

Mistral AI 發佈 Pixtral Large,一款基於 Mistral Large 2 的 124B 開放權重多模態模型,支援 128K 上下文窗口。

推薦理由

Pixtral Large 在 MathVista 得分 69.4%,並於 ChartQA、DocVQA 超越 GPT-4o 和 Gemini-1.5 Pro;這些結果提供數學視覺推理、圖表與文件理解的具體比較參照。

正文 · 繁體中文

Pixtral Large 簡介:

  • 前沿級多模態效能

  • 在 MathVista、DocVQA、VQAv2 達到最先進水平

  • 擴展 Mistral Large 2 的能力,同時不犧牲文字效能

  • 123B 多模態解碼器、1B 參數視覺編碼器

  • 128K 上下文視窗:至少可容納 30 張高解像度圖像

  • 使用方式:

今天我們宣佈推出 Pixtral Large,這是一個以 Mistral Large 2 為基礎建構的 124B 開放權重多模態模型。Pixtral Large 是我們多模態系列的第二個模型,展現前沿級圖像理解能力。它特別擅長理解文件、圖表和一般圖像,同時維持 Mistral Large 2 領先的純文字理解能力。

模型採用 Mistral Research License(MRL),供研究和教育用途;亦可採用 Mistral Commercial License,用於商業實驗、測試和正式運作。

Benchmark summary

效能

我們使用共通測試工具,透過一系列標準多模態基準,將 Pixtral Large 與前沿模型比較。在評估視覺資料複雜數學推理能力的 MathVista 中,模型取得 69.4%,勝過所有其他模型。為評估對複雜圖表和文件的推理能力,我們使用 ChartQA 和 DocVQA 測試;Pixtral Large 在兩項測試中均勝過 GPT-4o 和 Gemini-1.5 Pro。

Pixtral Large 在 MM-MT-Bench 亦展現競爭力,表現勝過 Claude-3.5 Sonnet(新版)、Gemini-1.5 Pro 和 GPT-4o(最新版)。MM-MT-Bench 是一項開源、以評審判斷為基礎的評估,旨在反映多模態 LLM 的實際用途(詳情請參閲Pixtral 12B 技術報告)。

Detailed benchmarks

最後,在 LMSys Vision Leaderboard 上,Pixtral Large 以明顯優勢成為最佳開放權重模型,比最接近的競爭對手高近 50 ELO 分。Pixtral Large 亦勝過多個專有模型,例如 GPT-4o(2024 年 8 月版)。

Detailed benchmarks

質化樣本

多語言 OCR 與推理……

German receipt

提示:

我買了咖啡和香腸,應付多少錢?請加上 18% 小費。

回覆:

要計算包括 18% 小費在內的總金額,請按以下步驟:

  1. 計算咖啡和香腸的價格:

    • 2x Latte Macchiato:2 * 4.50 CHF = 9.00 CHF

    • 1x 炸豬扒:22.00 CHF

    • 咖啡和香腸總價:9.00 CHF + 22.00 CHF = 31.00 CHF

  2. 計算 18% 小費:

    • 小費:31.00 CHF * 0.18 = 5.58 CHF

  3. 把小費加到總價:

    • 應付總額:31.00 CHF + 5.58 CHF = 36.58 CHF

因此,你總共應付 36.58 CHF。

圖表理解……

Loss curve

提示:

dark dragon 是從甚麼時候開始出問題的?

回覆:

「dark-dragon-50」模型的訓練損失在約 10,000 個步驟時開始出現明顯不穩定。此時損失值大幅飆升,之後在約 20,000 個步驟時又再大幅飆升。這些峯值表示「dark-dragon-50」模型的訓練程序約從 10,000 個步驟時開始遇到問題。

還有更多……

Website screenshot

提示:

哪些公司使用 Mistral AI 製作的模型?

回覆:

圖中顯示使用 Mistral AI 模型的公司包括:

  1. BNP Paribas

  2. Brave

  3. Cloudflare

  4. CMA CGM

  5. Front

還有一件事……

除了 Pixtral Large 外,我們最先進的文字模型 Mistral Large 亦獲更新。模型提供 pixtral-large-latest,可透過 API 使用,亦可在 HuggingFace 自行部署 Mistral Large 24.11;研究用途採用 Mistral Research License(MRL),商業用途則可向 Mistral AI 取得商業許可證。

這個最新模型比上一版 Mistral Large 24.07 大幅升級,在長上下文理解方面有明顯改善,並加入新的系統提示,函數呼叫亦更準確。模型尤其擅長 RAG 和智能體工作流程,適合知識探索與分享、文件語義理解、工作自動化和改善客戶體驗等企業用途。

Mistral Large 24.11 預計很快透過雲端供應商合作夥伴推出,首先是 Google Cloud 和 Microsoft Azure,預計一週內上線。

來源:Mistral AI · mistral.ai