LVM Ckpts

🚀 LVM

このモデルは、CVPR 2024の論文「Sequential Modeling Enables Scalable Learning for Large Vision Models」(https://arxiv.org/abs/2312.00785) の実装です。LVMは、様々な種類の視覚データを視覚文に変換し、次のトークン予測を自己回帰的に行う視覚事前学習モデルです。GPUとTPUの両方に対応しています。

こちら でデモを試すことができます。LVMは、OpenLLaMA（自己回帰モデル）と OpenMuse（画像を視覚トークンに変換するVQGAN）をベースに構築されています。

このモデルはHuggingFaceと共同で学習されました。このプロジェクトでのサポートを提供してくれた Victor Sanh に感謝します。

✨ 主な機能

• 様々な視覚データを視覚文に変換し、次のトークン予測を自己回帰的に行う。
• GPUとTPUの両方に対応。

📚 ドキュメント

原著論文バージョンとの主な違い

1. 現在は7Bモデルをリリースしています（以前は3B）。追加のモデルサイズバリアントは近日公開予定です。
2. LAIONデータセットに対して深度フィルタリング（品質フィルタリング、重複排除、既知のCSAMコンテンツの削除を含む）を適用し、データセットのサイズを15億枚から12億枚に削減しました。
3. トークナイザーを改善し、性能を向上させました。

ライセンス

LVMはApache 2.0ライセンスの下で提供されています。

引用

もしあなたの研究やアプリケーションでLVMが役立った場合、以下のBibTeXを使用して我々の研究を引用してください。

@article{bai2023sequential,
  title={Sequential modeling enables scalable learning for large vision models},
  author={Bai, Yutong and Geng, Xinyang and Mangalam, Karttikeya and Bar, Amir and Yuille, Alan and Darrell, Trevor and Malik, Jitendra and Efros, Alexei A},
  journal={arXiv preprint arXiv:2312.00785},
  year={2023}
}