Bytedance BAGEL 7B MoT INT8

🚀 BAGEL - 統合型マルチモーダル理解と生成モデル

BAGELは、大規模なマルチモーダルデータを用いて学習されたオープンソースのマルチモーダル基礎モデルです。標準的なマルチモーダル理解のリーダーボードで、Qwen2.5-VLやInternVL - 2.5などのトップレベルのオープンソースモデルを上回り、テキストから画像生成の品質もSD3などの強力な専用生成器と競争力を持ちます。

このリポジトリには、BAGELのモデルウェイトが含まれています。インストール方法、使用方法、および詳細なドキュメントについては、GitHubリポジトリをご覧ください。

✨ 主な機能

INT8量子化

ByteDance - Seed/BAGEL - 7B - MoTのINT8量子化モデルです。

モデルアーキテクチャ

BAGELはMixture - of - Transformer - Experts (MoT)アーキテクチャを採用しており、多様なマルチモーダル情報から学習する能力を最大化しています。同じ容量最大化の原則に従い、画像のピクセルレベルとセマンティックレベルの特徴を捉えるために2つの別々のエンコーダを利用しています。全体的なフレームワークはNext Group of Token Predictionパラダイムに従っており、モデルは次の言語またはビジュアルトークンのグループを予測するように学習されます。

新興特性

BAGELの事前学習をより多くのマルチモーダルトークンで拡大するにつれて、理解、生成、編集タスクのすべてで一貫した性能向上が見られます。異なる能力は異なる学習段階で現れます。マルチモーダル理解と生成は早期に現れ、次に基本的な編集が現れ、複雑なインテリジェント編集は後に現れます。この段階的な進行は、高度なマルチモーダル推論が十分に形成された基礎スキルに基づいて構築される新興パターンを示唆しています。アブレーション研究により、VAEとViTの特徴を組み合わせることでインテリジェント編集が大幅に改善されることが示されており、複雑なマルチモーダル推論を可能にするビジュアルセマンティックコンテキストの重要性を強調しています。

ベンチマーク

1. ビジュアル理解

2. テキストから画像生成 - GenEval

3. 画像編集

🔧 技術詳細

BAGELは、言語、画像、ビデオ、ウェブデータにまたがる数兆のインターリーブされたマルチモーダルトークンに対する事前学習、継続学習、および教師あり微調整を通じてMoTの容量を拡大しています。標準的な理解と生成のベンチマークでオープンモデルを上回り、自由形式の画像編集、未来フレーム予測、3D操作、ワールドナビゲーション、および逐次推論などの高度なコンテキスト内マルチモーダル能力を示します。

📄 ライセンス

BAGELはApache 2.0ライセンスの下で提供されています。Qwen2.5 - 7B - Instructとsiglip - so400m - 14 - 384 - flash - attn2モデルから微調整されており、FLUX.1 - schnell VAEモデルを使用しています。これらすべてがApache 2.0ライセンスの下にあります。

📚 引用

@article{deng2025bagel,
  title   = {Emerging Properties in Unified Multimodal Pretraining},
  author  = {Deng, Chaorui and Zhu, Deyao and Li, Kunchang and Gou, Chenhui and Li, Feng and Wang, Zeyu and Zhong, Shu and Yu, Weihao and Nie, Xiaonan and Song, Ziang and Shi, Guang and Fan, Haoqi},
  journal = {arXiv preprint arXiv:2505.14683},
  year    = {2025}
}

📦 モデル情報