Idefics 9b

🚀 IDEFICS

モデル名の発音方法は、Youtubeチュートリアルをご覧ください。

IDEFICS（Image-aware Decoder Enhanced à la Flamingo with Interleaved Cross-attentionS）は、Deepmindによって開発された閉ソースの視覚言語モデルであるFlamingoのオープンアクセスな再現モデルです。GPT-4と同様に、このマルチモーダルモデルは画像とテキストの任意のシーケンスを入力として受け取り、テキスト出力を生成します。IDEFICSは、公開されているデータとモデルのみを使用して構築されています。

このモデルは、画像に関する質問に答えたり、視覚的な内容を説明したり、複数の画像を基に物語を作成したり、あるいは単に視覚入力なしで純粋な言語モデルとして機能することができます。

IDEFICSは、コンテキスト内のフェデレーション学習で評価した場合、視覚的質問応答（自由記述型および選択肢型）、画像キャプション、画像分類などの様々な画像 - テキストベンチマークで、元の閉ソースモデルと同等の性能を発揮します。このモデルには、800億パラメータの大規模バージョンと、90億パラメータのバージョンの2種類があります。

また、教師付き微調整データセットと命令微調整データセットの混合データでベースモデルを微調整しています。これにより、下流タスクの性能が向上し、会話設定でのモデルの使い勝手が向上します。具体的には、idefics-80b-instructとidefics-9b-instructです。これらの命令微調整モデルは性能が高いため、最初にこれらのバージョンを使用することをおすすめします。

IDEFICSのトレーニング中に遭遇した技術的な課題の詳細については、こちらをご覧ください。

デモを試してみてください！

🚀 クイックスタート

モデルの概要

IDEFICSは、画像とテキストのシーケンスを入力として受け取り、テキスト出力を生成する大規模なマルチモーダル英語モデルです。このモデルは、コンテキスト内のフェデレーション学習能力が強く、閉ソースモデルと同等の性能を発揮します。このため、IDEFICSは、カスタムデータでマルチモーダルモデルを微調整するための堅牢な出発点となります。

モデルの使い方

このモデルは、テキストクエリ/命令と1つまたは複数の画像から構成される入力を持つマルチモーダル（画像 + テキスト）タスクの推論に使用できます。ただし、画像生成はサポートしていません。

特定のユースケースのために、ベースモデルをカスタムデータで微調整することも可能です。命令微調整されたモデルは、ユーザーからの命令に従う能力が大幅に向上しているため、モデルをそのまま使用する場合は、これらのモデルを優先して使用することをおすすめします。

コード例

これらのリソースでは、IDEFICSを使用した推論（4ビット量子化推論を含む）とモデルの微調整方法を紹介しています。特に、このコラボノートブックでは、LoRAと4ビット量子化を使用して、単一のGoogle Colab GPUで90億パラメータのモデルを微調整する方法を示しています。

以下に、ベースモデルと命令微調整モデルのクイックスタートコードを提供します。

ベースモデルのクイックスタート

import torch
from transformers import IdeficsForVisionText2Text, AutoProcessor

device = "cuda" if torch.cuda.is_available() else "cpu"

checkpoint = "HuggingFaceM4/idefics-9b"
model = IdeficsForVisionText2Text.from_pretrained(checkpoint, torch_dtype=torch.bfloat16).to(device)
processor = AutoProcessor.from_pretrained(checkpoint)

# We feed to the model an arbitrary sequence of text strings and images. Images can be either URLs or PIL Images.
prompts = [
    [
        "https://upload.wikimedia.org/wikipedia/commons/8/86/Id%C3%A9fix.JPG",
        "In this picture from Asterix and Obelix, we can see"
    ],
]

# --batched mode
inputs = processor(prompts, return_tensors="pt").to(device)
# --single sample mode
# inputs = processor(prompts[0], return_tensors="pt").to(device)

# Generation args
bad_words_ids = processor.tokenizer(["<image>", "<fake_token_around_image>"], add_special_tokens=False).input_ids

generated_ids = model.generate(**inputs, bad_words_ids=bad_words_ids, max_length=100)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)
for i, t in enumerate(generated_text):
    print(f"{i}:\n{t}\n")

巨大なモデルのダウンロード/ロードを待たずにソフトウェアをすぐにテストするには、HuggingFaceM4/tiny-random-ideficsを使用できます。このモデルは学習されておらず、重みがランダムですが、迅速なテストに非常に便利です。

命令微調整モデルのクイックスタート

import torch
from transformers import IdeficsForVisionText2Text, AutoProcessor

device = "cuda" if torch.cuda.is_available() else "cpu"

checkpoint = "HuggingFaceM4/idefics-9b-instruct"
model = IdeficsForVisionText2Text.from_pretrained(checkpoint, torch_dtype=torch.bfloat16).to(device)
processor = AutoProcessor.from_pretrained(checkpoint)

# We feed to the model an arbitrary sequence of text strings and images. Images can be either URLs or PIL Images.
prompts = [
    [
        "User: What is in this image?",
        "https://upload.wikimedia.org/wikipedia/commons/8/86/Id%C3%A9fix.JPG",
        "<end_of_utterance>",

        "\nAssistant: This picture depicts Idefix, the dog of Obelix in Asterix and Obelix. Idefix is running on the ground.<end_of_utterance>",

        "\nUser:",
        "https://static.wikia.nocookie.net/asterix/images/2/25/R22b.gif/revision/latest?cb=20110815073052",
        "And who is that?<end_of_utterance>",

        "\nAssistant:",
    ],
]

# --batched mode
inputs = processor(prompts, add_end_of_utterance_token=False, return_tensors="pt").to(device)
# --single sample mode
# inputs = processor(prompts[0], return_tensors="pt").to(device)

# Generation args
exit_condition = processor.tokenizer("<end_of_utterance>", add_special_tokens=False).input_ids
bad_words_ids = processor.tokenizer(["<image>", "<fake_token_around_image>"], add_special_tokens=False).input_ids

generated_ids = model.generate(**inputs, eos_token_id=exit_condition, bad_words_ids=bad_words_ids, max_length=100)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)
for i, t in enumerate(generated_text):
    print(f"{i}:\n{t}\n")

テキスト生成推論

ホストされている推論APIは、Text Generation Inferenceによって提供されています。モデルにクエリを送信するには、次のコードスニペットを使用できます。重要なのは、画像をMarkdown構文で取得可能なURLとして渡すことです。

from text_generation import Client

API_TOKEN = "<YOUR_API_TOKEN>"
API_URL = "https://api-inference.huggingface.co/models/HuggingFaceM4/idefics-80b-instruct"
DECODING_STRATEGY = "Greedy"
QUERY = "User: What is in this image?![](https://upload.wikimedia.org/wikipedia/commons/8/86/Id%C3%A9fix.JPG)<end_of_utterance>\nAssistant:"

client = Client(
    base_url=API_URL,
    headers={"x-use-cache": "0", "Authorization": f"Bearer {API_TOKEN}"},
)
generation_args = {
    "max_new_tokens": 256,
    "repetition_penalty": 1.0,
    "stop_sequences": ["<end_of_utterance>", "\nUser:"],
}

if DECODING_STRATEGY == "Greedy":
    generation_args["do_sample"] = False
elif DECODING_STRATEGY == "Top P Sampling":
    generation_args["temperature"] = 1.
    generation_args["do_sample"] = True
    generation_args["top_p"] = 0.95
    
generated_text = client.generate(prompt=QUERY, **generation_args)  
print(generated_text)

現在、命令微調整されたモデルの推論のみをホストしています。

✨ 主な機能

• 画像に関する質問に答えることができます。
• 視覚的な内容を説明することができます。
• 複数の画像を基に物語を作成することができます。
• 視覚入力なしで純粋な言語モデルとして機能することができます。
• コンテキスト内のフェデレーション学習能力が強く、閉ソースモデルと同等の性能を発揮します。

📚 ドキュメント

モデルの詳細

トレーニングの詳細

IDEFICS

Flamingoで示されたトレーニング手順に従い、2つのオープンアクセスの事前学習モデル（laion/CLIP-ViT-H-14-laion2B-s32B-b79Kとhuggyllama/llama-65b）を新しいTransformerブロックで組み合わせました。事前学習されたバックボーンは凍結し、新しく初期化されたパラメータを学習します。

モデルは、以下の公開された英語データの混合データでトレーニングされています。

OBELICSは、画像とテキストが交互に配置されたウェブドキュメントのオープンで大規模なコレクションで、1億4100万のドキュメント、1150億のテキストトークン、3億5300万の画像を含んでいます。データセットの内容のインタラクティブなビジュアライゼーションは、こちらで確認できます。2020年2月から2023年2月までのCommon Crawlダンプを使用しています。

Wikipediaは、2023年2月20日に作成された英語版のWikipediaダンプを使用しています。

LAIONは、Common Crawlのウェブページから収集された画像 - テキストペアのコレクションで、テキストは各画像の代替テキストを使用して取得されています。Webster et al., 2023に従って重複を削除し、フィルタリングし、Spawning APIを使用してオプトアウトされた画像を削除しています。

PMDは、公開されている画像 - テキストペアデータセットのコレクションです。このデータセットには、Conceptual Captions、Conceptual Captions 12M、WIT、Localized Narratives、RedCaps、COCO、SBU Captions、Visual Genome、およびYFCC100Mデータセットのサブセットのペアが含まれています。前処理時のサーバー障害のため、SBUキャプションは含まれていません。

マルチモーダルウェブドキュメントの場合、モデルにはテキスト段落と画像の連続に対応するシーケンスを入力します。画像 - テキストペアの場合、画像とそのキャプションをパッキングしてトレーニングシーケンスを形成します。画像は視覚エンコーダでエンコードされ、視覚隠れ状態はTransformer Perceiverブロックでプールされ、クロスアテンションブロックを介してテキストシーケンスに融合されます。

Dehghani et al., 2023に従い、Perceiverブロックとクロスアテンションブロックの投影クエリとキーにレイヤー正規化を適用しました。これにより、初期の実験でトレーニングの安定性が向上しました。学習可能なレイヤー正規化には、RMSNormの実装を使用しています。

トレーニングの目的は、標準的な次のトークン予測です。

使用したハイパーパラメータとトレーニングパラメータは以下の通りです。

📄 ライセンス

ライセンスについては、License sectionを参照してください。