BAGEL 7B MoT

🚀 BAGEL ・ 統合型マルチモーダル理解と生成モデル

BAGELは、大規模なマルチモーダルデータを用いて学習された、70億のアクティブパラメータ（合計140億）を持つオープンソースのマルチモーダル基礎モデルです。標準的なマルチモーダル理解のランキングでは、Qwen2.5-VLやInternVL - 2.5などの現行のトップクラスのオープンソースVLMを上回り、テキストから画像への生成品質もSD3などの強力な専用生成モデルと競争力を持ちます。さらに、古典的な画像編集シナリオでも、主要なオープンソースモデルを上回る結果を示します。

このリポジトリには、BAGELのモデルウェイトが含まれています。インストール方法、使用方法、および詳細なドキュメントについては、GitHubリポジトリをご覧ください。

✨ 主な機能

🔧 手法

BAGELは、Transformerエキスパートの混合（Mixture - of - Transformer - Experts, MoT）アーキテクチャを採用し、多様なマルチモーダル情報から学習するモデルの能力を最大化します。同じ能力最大化の原則に従い、画像のピクセルレベルとセマンティックレベルの特徴を捉えるために2つの別々のエンコーダを利用します。全体的なフレームワークは、Next Group of Token Predictionパラダイムに従い、モデルは次の言語またはビジュアルトークンのグループを予測するように学習されます。

BAGELは、言語、画像、ビデオ、ウェブデータにまたがる数兆のマルチモーダルトークンに対する事前学習、継続学習、および教師付き微調整を通じて、MoTの能力を拡張します。標準的な理解と生成のベンチマークでオープンモデルを上回り、自由形式の画像編集、未来フレーム予測、3D操作、ワールドナビゲーション、および逐次推論などの高度なコンテキスト内マルチモーダル能力を示します。

🌟 新興特性

BAGELの事前学習をより多くのマルチモーダルトークンで拡大すると、理解、生成、および編集タスク全体で一貫したパフォーマンス向上が見られます。異なる能力は異なる学習段階で現れます。マルチモーダル理解と生成は早期に現れ、次に基本的な編集が現れ、複雑な知的編集は後に現れます。この段階的な進行は、高度なマルチモーダル推論が十分に形成された基本スキルに基づいて構築される新興パターンを示唆しています。アブレーション研究はさらに、VAEとViTの特徴を組み合わせることが知的編集を大幅に改善することを示しており、複雑なマルチモーダル推論を可能にするビジュアルセマンティックコンテキストの重要性を強調し、高度な能力の出現におけるその役割をさらに支持しています。

📊 ベンチマーク

視覚理解

テキストから画像への生成 - GenEval

画像編集

📄 ライセンス

BAGELは、Apache 2.0ライセンスの下で提供されています。[Qwen2.5 - 7B - Instruct](https://huggingface.co/Qwen/Qwen2.5 - 7B - Instruct) と [siglip - so400m - 14 - 384 - flash - attn2](https://huggingface.co/HuggingFaceM4/siglip - so400m - 14 - 384 - flash - attn2) モデルから微調整されており、[FLUX.1 - schnell VAEモデル](https://huggingface.co/black - forest - labs/FLUX.1 - schnell) を使用しています。これらすべてはApache 2.0ライセンスの下にあります。

📖 引用

@article{deng2025bagel,
  title   = {Emerging Properties in Unified Multimodal Pretraining},
  author  = {Deng, Chaorui and Zhu, Deyao and Li, Kunchang and Gou, Chenhui and Li, Feng and Wang, Zeyu and Zhong, Shu and Yu, Weihao and Nie, Xiaonan and Song, Ziang and Shi, Guang and Fan, Haoqi},
  journal = {arXiv preprint arXiv:2505.14683},
  year    = {2025}
}