OpenAI 宣佈 GPT-4o 為新旗艦模型,可即時跨音訊、視覺和文字推理
Hello GPT-4o
OpenAI 宣佈 GPT-4 Omni(GPT-4o)為新的旗艦模型。該模型可即時跨音訊、視覺和文字進行推理。
公告把 GPT-4o 定位為新旗艦模型,並明確列出音訊、視覺和文字的即時推理能力,讓讀者掌握此次宣佈的多模態重點。
GPT‑4o(「o」代表「全方位」)是邁向更自然人機互動的一步——它可接收文字、音訊、圖像和影片的任何組合輸入,並產生文字、音訊和圖像輸出的任何組合。它對音訊輸入的回應時間最快僅需 232 毫秒,平均需時 320 毫秒,與對話時的人類反應時間相若(在新視窗中開啟)。它在英文文字和程式碼上的表現媲美 GPT‑4 Turbo,在非英文文字方面則大幅進步,同時速度快得多,而且 API 價格便宜 50%。相比現有模型,GPT‑4o 在視覺和音訊理解方面尤其出色。
在 GPT‑4o 之前,你可以使用 語音模式 與 ChatGPT 對話,平均延遲為 2.8 秒(GPT‑3.5)和 5.4 秒(GPT‑4)。要達到這種效果,語音模式由三個獨立模型組成:一個簡單模型將音訊轉錄為文字,GPT‑3.5 或 GPT‑4 接收文字並輸出文字,第三個簡單模型再將文字轉回音訊。這個流程意味著,作為主要智能來源的 GPT‑4 會失去大量資訊——它無法直接觀察語調、多位說話者或背景噪音,也無法輸出笑聲、歌聲或表達情緒。
我們以文字、視覺和音訊為基礎,端到端訓練了一個全新的 GPT‑4o 模型,這表示所有輸入和輸出都由同一個神經網絡處理。由於 GPT‑4o 是我們首個結合所有這些模態的模型,我們仍只是在初步探索模型的能力及其限制。
能力探索
模型評估
根據傳統基準測試的結果,GPT‑4o 在文字、推理和程式編寫方面達到 GPT‑4 Turbo 級別的表現,同時在多語言、音訊和視覺能力方面創下新高。
語言分詞
這 20 種語言是為了展示新分詞器在不同語系中的壓縮表現而選出的
古吉拉特語:詞元數減少 4.4x(由 145 降至 33) | હેલો, મારું નામ જીપીટી-4o છે. હું એક નવા પ્રકારનું ભાષા મોડલ છું. તમને મળીને સારું લાગ્યું! |
泰盧固語:詞元數減少 3.5x(由 159 降至 45) | నమస్కారము, నా పేరు జీపీటీ-4o. నేను ఒక్క కొత్త రకమైన భాషా మోడల్ ని. మిమ్మల్ని కలిసినందుకు సంతోషం! |
泰米爾語:詞元數減少 3.3x(由 116 降至 35) | வணக்கம், என் பெயர் ஜிபிடி-4o. நான் ஒரு புதிய வகை மொழி மாடல். உங்களை சந்தித்ததில் மகிழ்ச்சி! |
馬拉地語:詞元數減少 2.9x(由 96 降至 33) | नमस्कार, माझे नाव जीपीटी-4o आहे| मी एक नवीन प्रकारची भाषा मॉडेल आहे| तुम्हाला भेटून आनंद झाला! |
印地語:詞元數減少 2.9x(由 90 降至 31) | नमस्ते, मेरा नाम जीपीटी-4o है। मैं एक नए प्रकार का भाषा मॉडल हूँ। आपसे मिलकर अच्छा लगा! |
烏爾都語:詞元數減少 2.5x(由 82 降至 33) | ہیلو، میرا نام جی پی ٹی-4o ہے۔ میں ایک نئے قسم کا زبان ماڈل ہوں، آپ سے مل کر اچھا لگا! |
阿拉伯語:詞元數減少 2.0x(由 53 降至 26) | مرحبًا، اسمي جي بي تي-4o. أنا نوع جديد من نموذج اللغة، سررت بلقائك! |
波斯語:詞元數減少 1.9x(由 61 降至 32) | سلام، اسم من جی پی تی-۴او است. من یک نوع جدیدی از مدل زبانی هستم، از ملاقات شما خوشبختم! |
俄語:詞元數減少 1.7x(由 39 降至 23) | Привет, меня зовут GPT-4o. Я — новая языковая модель, приятно познакомиться! |
韓語:詞元數減少 1.7x(由 45 降至 27) | 안녕하세요, 제 이름은 GPT-4o입니다. 저는 새로운 유형의 언어 모델입니다, 만나서 반갑습니다! |
越南語:詞元數減少 1.5x(由 46 降至 30) | 你好,我叫GPT-4o。我是一種新型語言模型,很高興認識你! |
中文:詞元數減少 1.4x(由 34 降至 24) | 你好,我的名字是GPT-4o。我是一种新型的语言模型,很高兴见到你! |
日文少用 1.4x 詞元(由 37 減至 26) | こんにちは、私の名前はGPT-4oです。私は新しいタイプの言語モデルです。初めまして! |
土耳其文少用 1.3x 詞元(由 39 減至 30) | 你好,我叫 GPT-4o。我是一種新型語言模型,很高興認識你! |
意大利文少用 1.2x 詞元(由 34 減至 28) | 你好,我叫 GPT-4o。我是一種新型語言模型,很高興認識你! |
德文少用 1.2x 詞元(由 34 減至 29) | 你好,我叫 GPT-4o。我是一個新型人工智能語言模型。很高興認識你。 |
西班牙文少用 1.1x 詞元(由 29 減至 26) | 你好,我叫 GPT-4o。我是一種新型語言模型,很高興認識你! |
葡萄牙文少用 1.1x 詞元(由 30 減至 27) | 你好,我叫 GPT-4o。我是一種新型語言模型,很高興認識你! |
法文少用 1.1x 詞元(由 31 減至 28) | 你好,我叫 GPT-4o。我是一種新型語言模型,很高興認識你! |
英文少用 1.1x 詞元(由 27 減至 24) | 你好,我的名字是 GPT-4o。我是一種新型語言模型,很高興認識你! |
模型安全與限制
GPT‑4o 從設計上已在各種模態中內置安全措施,採用的技術包括篩選訓練數據,以及透過後訓練調整模型行為。我們亦建立了新的安全系統,為語音輸出提供防護措施。
我們已評估 GPT‑4o,根據我們的
Preparedness Framework,並按照我們的 自願承諾。我們對網絡安全、CBRN、說服能力及模型自主性的評估顯示,GPT‑4o 在任何類別中的風險評級都沒有高於中等。這項評估包括在模型訓練過程中進行一系列自動化及人工評估。我們使用自訂微調和提示詞,對模型安全緩解前及安全緩解後的版本進行測試,以更充分地引導出模型能力。
GPT‑4o 亦接受了廣泛的外部紅隊測試,涉及 70+
外部專家,他們來自社會心理學、偏見與公平,以及錯誤資訊等領域,協助識別新加入的模態所引入或加劇的風險。我們運用這些經驗完善安全措施,以提升與 GPT‑4o 互動的安全性。發現新風險時,我們會繼續採取措施降低風險。我們認為,GPT‑4o 的音訊模態帶來了多種新型風險。目前我們正公開推出文字及圖像輸入,以及文字輸出。在未來幾星期和幾個月內,我們會致力完善推出其他模態所需的技術基礎設施、透過後訓練提升易用性,以及安全措施。例如,推出時,音訊輸出只會提供部分預設語音選項,並遵循我們現有的安全政策。我們將在即將發佈的系統卡中,分享涵蓋 GPT‑4o 所有模態的更多詳情。
透過測試並反覆改進模型,我們觀察到模型在所有模態中都存在若干限制,以下列出其中一些例子。
模型限制示例
我們希望收到意見,協助找出 GPT‑4 Turbo 仍勝過 GPT‑4o 的任務,以便我們繼續改進模型。
ChatGPT-4o 風險評分表
更新於 May 8, 2024
追蹤中的風險類別
緩解前風險等級
使用目前已知的最佳能力引導技巧,判定緩解前風險等級
緩解後風險等級
使用目前已知的最佳能力引導技巧,在緩解措施到位後判定整體風險等級
網絡安全
低
低
CBRN
低
低
說服能力
中等
中等
模型自主性
低
低
作為我們的 準備度框架 一部分,我們會定期評估模型並更新評分卡。只有緩解後風險評級為「中等」或以下的模型才會部署。模型的整體風險等級由任何類別中的最高風險等級決定。目前,GPT‑4o 在緩解措施實施前後均被評定為中等風險。
模型可用性
GPT‑4o 是我們推進深度學習邊界的最新一步,這次著眼於實際應用。過去兩年,我們投入大量心力,在技術堆疊的每一層提升效率。這項研究的首批成果之一,讓我們能更廣泛地提供 GPT‑4 級別的模型。GPT‑4o 的能力將分階段推出(擴大紅隊測試存取權限由今天開始)。
GPT‑4o 的文字和圖像功能今天開始在 ChatGPT 推出。我們會在免費方案中提供 GPT‑4o,並讓 Plus 用戶享有最高 5x 的訊息上限。未來數週,我們會在 ChatGPT Plus 中以 alpha 版本推出搭載 GPT‑4o 的新版語音模式。
開發者現亦可透過 API 使用 GPT‑4o,作為文字和視覺模型。相較於 GPT‑4 Turbo,GPT‑4o 的速度快 2x、價格減半,速率限制提高至 5x。我們計劃未來數週在 API 中向一小群可信任的合作夥伴推出 GPT‑4o 新的音訊和影片功能支援。
來源:OpenAI News · openai.com