Hugging Face 發佈 IDEFICS,開放復現 Flamingo 視覺語言模型
Introducing IDEFICS: An Open Reproduction of State-of-the-art Visual Langage Model
Hugging Face 發佈 IDEFICS,作為 Flamingo 的開放取用復現模型,可接收圖像與文字序列並生成文字。模型提供 9B 和 80B 規模及對話用途的 instruct 版本,訓練資料包括 Wikipedia、Public Multimodal Dataset、LAION 和 115B tokens 的 OBELICS。
IDEFICS 同時交代訓練資料、互動式資料集瀏覽工具、對抗提示評估與基礎模型授權,呈現開放多模態模型的建構和使用邊界。
我們很高興推出 IDEFICS(Image-aware Decoder Enhanced à la Flamingo with Interleaved Cross-attentionS),一款開放存取的視覺語言模型。IDEFICS 以 DeepMind 最初開發、但未有公開發布的尖端視覺語言模型 Flamingo 為基礎。與 GPT-4 相似,模型可接受任意序列的圖片和文字輸入,並生成文字輸出。IDEFICS 完全以公開可用的數據和模型(LLaMA v1 和 OpenCLIP)建構,提供基礎版和指示微調版兩種變體,每種均有 9 billion 和 80 billion 參數版本。
尖端 AI 模型的開發應該更加透明。我們推出 IDEFICS 的目標,是重現大型專有模型(例如 Flamingo)的能力,並向 AI 社羣提供相應系統。為提高這些 AI 系統的透明度,我們採取了多項重要措施:只使用公開數據、提供探索訓練數據集的工具、分享建構此類成果時的技術心得與失誤,並在發布前透過對抗式提示測試評估模型的有害性。我們期望 IDEFICS 能為多模態 AI 系統的開放研究奠定穩固基礎,並與 OpenFlamingo 等模型並行發展;OpenFlamingo 是另一個以 9 billion 參數規模開放重現 Flamingo 的模型。
IDEFICS 是甚麼?
IDEFICS 是一款 80 billion 參數的多模態模型,可接受圖片和文字序列作為輸入,並生成連貫文字。它可以回答圖片相關問題、描述視覺內容、根據多張圖片創作故事等。
IDEFICS 是 Flamingo 的開放存取復現版本,在多項圖文理解基準測試中的表現媲美原本的封閉源碼模型。它有兩種參數規模:80 billion 和 9 billion。
我們亦提供經微調、適用於對話用途的版本:idefics-80B-instruct 和 idefics-9B-instruct。
訓練數據
IDEFICS 以多個公開數據集的組合進行訓練,包括 Wikipedia、Public Multimodal Dataset 和 LAION,以及我們建立的全新 115B token 數據集 OBELICS。OBELICS 包含從網絡擷取的 1.41 億份圖文交錯文件,以及 3.53 億張圖片。
我們提供 OBELICS 的互動式視覺化,方便使用 Nomic AI 探索數據集內容。
IDEFICS 的架構、訓練方法和評估,以及數據集資訊,均載於模型説明卡和研究論文。此外,我們亦記錄了模型訓練過程中的技術見解和經驗,提供有關 IDEFICS 開發過程的寶貴參考。
倫理評估
項目開始時,我們透過一系列討論制定了倫理章程,用以指引項目期間的決策。章程列出自我批判、透明和公平等價值;我們在項目執行和模型發布過程中一直努力遵循。
作為發布流程的一部分,我們在內部評估模型可能存在的偏見:以可能引出不當回應的圖片和文字作為對抗式提示,測試模型。這個過程稱為紅隊測試。
請透過示範試用 IDEFICS,查看相關的模型説明卡和數據集説明卡,並在社羣頁籤分享意見!我們致力持續改進這些模型,讓機器學習社羣更容易使用大型多模態 AI 模型。
授權
模型建基於兩個預訓練模型:laion/CLIP-ViT-H-14-laion2B-s32B-b79K 和 huggyllama/llama-65b。前者以 MIT 授權發布,後者則採用專為研究用途制定的特定非商業授權。因此,用戶應直接向 Meta 提交申請表,並遵守該授權條款。
我們以新初始化的參數連接這兩個預訓練模型,並對這些參數進行訓練。它們並非來自組成複合模型的兩個凍結基礎模型。我們以 MIT 授權發布自行訓練的額外權重。
開始使用 IDEFICS
IDEFICS 模型已上載至 Hugging Face Hub,並受最新版本的 transformers 支援。以下提供程式碼範例供你試用:
import torch
from transformers import IdeficsForVisionText2Text, AutoProcessor
device = "cuda" if torch.cuda.is_available() else "cpu"
checkpoint = "HuggingFaceM4/idefics-9b-instruct"
model = IdeficsForVisionText2Text.from_pretrained(checkpoint, torch_dtype=torch.bfloat16).to(device)
processor = AutoProcessor.from_pretrained(checkpoint)
# We feed to the model an arbitrary sequence of text strings and images. Images can be either URLs or PIL Images.
prompts = [
[
"User: What is in this image?",
"https://upload.wikimedia.org/wikipedia/commons/8/86/Id%C3%A9fix.JPG",
"<end_of_utterance>",
"\nAssistant: This picture depicts Idefix, the dog of Obelix in Asterix and Obelix. Idefix is running on the ground.<end_of_utterance>",
"\nUser:",
"https://static.wikia.nocookie.net/asterix/images/2/25/R22b.gif/revision/latest?cb=20110815073052",
"And who is that?<end_of_utterance>",
"\nAssistant:",
],
]
# --batched mode
inputs = processor(prompts, add_end_of_utterance_token=False, return_tensors="pt").to(device)
# --single sample mode
# inputs = processor(prompts[0], return_tensors="pt").to(device)
# Generation args
exit_condition = processor.tokenizer("<end_of_utterance>", add_special_tokens=False).input_ids
bad_words_ids = processor.tokenizer(["<image>", "<fake_token_around_image>"], add_special_tokens=False).input_ids
generated_ids = model.generate(**inputs, eos_token_id=exit_condition, bad_words_ids=bad_words_ids, max_length=100)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)
for i, t in enumerate(generated_text):
print(f"{i}:\n{t}\n")
來源:Hugging Face Blog · huggingface.co