LVM Ckpts

🚀 LVM

LVM是一個視覺預訓練模型，它能將各類視覺數據轉換為視覺句子，並以自迴歸方式進行下一個標記預測。該模型兼容GPU和TPU，為視覺領域的研究和應用提供了強大支持。

🚀 快速開始

LVM是CVPR 2024論文 “Sequential Modeling Enables Scalable Learning for Large Vision Models” (https://arxiv.org/abs/2312.00785) 的模型實現。它是一個視覺預訓練模型，可將各種視覺數據轉換為視覺句子，並以自迴歸方式進行下一個標記預測。該模型兼容GPU和TPU。

你可以點擊此處試用演示。

LVM基於 OpenLLaMA（一個自迴歸模型）和 OpenMuse（一個將圖像轉換為視覺標記的VQGAN）構建。

本項目是與HuggingFace合作訓練的。感謝 Victor Sanh 對本項目的支持。

✨ 主要特性

與原論文版本的主要差異

1. 目前發佈的是7B模型（之前是3B），更多模型大小變體即將推出。
2. 對LAION數據集進行了深度過濾（包括質量過濾、去重和移除已知的CSAM內容），數據集大小從15億張圖像減少到12億張。
3. 對分詞器進行了改進，以提升性能。

📄 許可證

LVM採用Apache 2.0許可證。

📚 詳細文檔

引用

如果您在研究或應用中發現LVM很有用，請使用以下BibTeX引用我們的工作：

@article{bai2023sequential,
  title={Sequential modeling enables scalable learning for large vision models},
  author={Bai, Yutong and Geng, Xinyang and Mangalam, Karttikeya and Bar, Amir and Yuille, Alan and Darrell, Trevor and Malik, Jitendra and Efros, Alexei A},
  journal={arXiv preprint arXiv:2312.00785},
  year={2023}
}