Mistral AI 發佈 124B 開放權重多模態模型 Pixtral Large
Pixtral Large
Mistral AI 發佈 Pixtral Large,一款基於 Mistral Large 2 的 124B 開放權重多模態模型,支援 128K 上下文窗口。
Pixtral Large 在 MathVista 得分 69.4%,並於 ChartQA、DocVQA 超越 GPT-4o 和 Gemini-1.5 Pro;這些結果提供數學視覺推理、圖表與文件理解的具體比較參照。
Pixtral Large 簡介:
前沿級多模態效能
在 MathVista、DocVQA、VQAv2 達到最先進水平
擴展 Mistral Large 2 的能力,同時不犧牲文字效能
123B 多模態解碼器、1B 參數視覺編碼器
128K 上下文視窗:至少可容納 30 張高解像度圖像
使用方式:
今天我們宣佈推出 Pixtral Large,這是一個以 Mistral Large 2 為基礎建構的 124B 開放權重多模態模型。Pixtral Large 是我們多模態系列的第二個模型,展現前沿級圖像理解能力。它特別擅長理解文件、圖表和一般圖像,同時維持 Mistral Large 2 領先的純文字理解能力。
模型採用 Mistral Research License(MRL),供研究和教育用途;亦可採用 Mistral Commercial License,用於商業實驗、測試和正式運作。

效能
我們使用共通測試工具,透過一系列標準多模態基準,將 Pixtral Large 與前沿模型比較。在評估視覺資料複雜數學推理能力的 MathVista 中,模型取得 69.4%,勝過所有其他模型。為評估對複雜圖表和文件的推理能力,我們使用 ChartQA 和 DocVQA 測試;Pixtral Large 在兩項測試中均勝過 GPT-4o 和 Gemini-1.5 Pro。
Pixtral Large 在 MM-MT-Bench 亦展現競爭力,表現勝過 Claude-3.5 Sonnet(新版)、Gemini-1.5 Pro 和 GPT-4o(最新版)。MM-MT-Bench 是一項開源、以評審判斷為基礎的評估,旨在反映多模態 LLM 的實際用途(詳情請參閲Pixtral 12B 技術報告)。

最後,在 LMSys Vision Leaderboard 上,Pixtral Large 以明顯優勢成為最佳開放權重模型,比最接近的競爭對手高近 50 ELO 分。Pixtral Large 亦勝過多個專有模型,例如 GPT-4o(2024 年 8 月版)。

質化樣本
多語言 OCR 與推理……

提示:
我買了咖啡和香腸,應付多少錢?請加上 18% 小費。
回覆:
要計算包括 18% 小費在內的總金額,請按以下步驟:
計算咖啡和香腸的價格:
2x Latte Macchiato:2 * 4.50 CHF = 9.00 CHF
1x 炸豬扒:22.00 CHF
咖啡和香腸總價:9.00 CHF + 22.00 CHF = 31.00 CHF
計算 18% 小費:
小費:31.00 CHF * 0.18 = 5.58 CHF
把小費加到總價:
應付總額:31.00 CHF + 5.58 CHF = 36.58 CHF
因此,你總共應付 36.58 CHF。
圖表理解……

提示:
dark dragon 是從甚麼時候開始出問題的?
回覆:
「dark-dragon-50」模型的訓練損失在約 10,000 個步驟時開始出現明顯不穩定。此時損失值大幅飆升,之後在約 20,000 個步驟時又再大幅飆升。這些峯值表示「dark-dragon-50」模型的訓練程序約從 10,000 個步驟時開始遇到問題。
還有更多……

提示:
哪些公司使用 Mistral AI 製作的模型?
回覆:
圖中顯示使用 Mistral AI 模型的公司包括:
BNP Paribas
Brave
Cloudflare
CMA CGM
Front
還有一件事……
除了 Pixtral Large 外,我們最先進的文字模型 Mistral Large 亦獲更新。模型提供 pixtral-large-latest,可透過 API 使用,亦可在 HuggingFace 自行部署 Mistral Large 24.11;研究用途採用 Mistral Research License(MRL),商業用途則可向 Mistral AI 取得商業許可證。
這個最新模型比上一版 Mistral Large 24.07 大幅升級,在長上下文理解方面有明顯改善,並加入新的系統提示,函數呼叫亦更準確。模型尤其擅長 RAG 和智能體工作流程,適合知識探索與分享、文件語義理解、工作自動化和改善客戶體驗等企業用途。
Mistral Large 24.11 預計很快透過雲端供應商合作夥伴推出,首先是 Google Cloud 和 Microsoft Azure,預計一週內上線。
來源:Mistral AI · mistral.ai