LVM Ckpts

🚀 LVM

LVM是一个视觉预训练模型，它能将各类视觉数据转换为视觉句子，并以自回归方式进行下一个标记预测。该模型兼容GPU和TPU，为视觉领域的研究和应用提供了强大支持。

🚀 快速开始

LVM是CVPR 2024论文 “Sequential Modeling Enables Scalable Learning for Large Vision Models” (https://arxiv.org/abs/2312.00785) 的模型实现。它是一个视觉预训练模型，可将各种视觉数据转换为视觉句子，并以自回归方式进行下一个标记预测。该模型兼容GPU和TPU。

你可以点击此处试用演示。

LVM基于 OpenLLaMA（一个自回归模型）和 OpenMuse（一个将图像转换为视觉标记的VQGAN）构建。

本项目是与HuggingFace合作训练的。感谢 Victor Sanh 对本项目的支持。

✨ 主要特性

与原论文版本的主要差异

1. 目前发布的是7B模型（之前是3B），更多模型大小变体即将推出。
2. 对LAION数据集进行了深度过滤（包括质量过滤、去重和移除已知的CSAM内容），数据集大小从15亿张图像减少到12亿张。
3. 对分词器进行了改进，以提升性能。

📄 许可证

LVM采用Apache 2.0许可证。

📚 详细文档

引用

如果您在研究或应用中发现LVM很有用，请使用以下BibTeX引用我们的工作：

@article{bai2023sequential,
  title={Sequential modeling enables scalable learning for large vision models},
  author={Bai, Yutong and Geng, Xinyang and Mangalam, Karttikeya and Bar, Amir and Yuille, Alan and Darrell, Trevor and Malik, Jitendra and Efros, Alexei A},
  journal={arXiv preprint arXiv:2312.00785},
  year={2023}
}