Perception LM 3B

🚀 感知语言模型（PLM）

感知语言模型（PLM）是一款先进的、完全开放且可复现的多模态大语言模型（MLLM），旨在为图像和视频理解的透明研究提供支持。它能够助力研究人员深入探索图像和视频领域，推动相关技术的发展。

🚀 快速开始

感知语言模型（PLM）由一个小尺度（参数少于 80 亿）的视觉编码器和大语言模型解码器组成。研究团队首先分析了现有数据的标准训练流程，未使用任何专有模型蒸馏技术。通过研究大规模合成数据并建立关键缩放定律，确定了限制视频理解性能的数据缺口，特别是在时空推理和细粒度理解任务方面。为填补这些缺口，团队创建了 280 万个高质量人工标注数据，这一规模比现有最大的视频数据集大了近一个数量级。

你可以在 perception_models 代码库 中找到训练和评估代码，更多详细信息可在 GitHub 仓库中查看。

✨ 主要特性

• 先进架构：采用小尺度视觉编码器与大语言模型解码器结合的架构，为图像和视频理解研究提供了新的思路。
• 数据驱动：通过分析现有数据和创建大规模高质量人工标注数据，有效填补数据缺口，提升模型性能。
• 开放可复现：完全开放且可复现，方便研究人员进行透明研究，推动领域发展。

📚 详细文档

模型详情

感知语言模型（PLM）在论文 "PerceptionLM: Open-Access Data and Models for Detailed Visual Understanding" 中被提出。

• 📃 技术报告
• 📂 GitHub 仓库

资源与文档

PLM 图像基准测试结果

PLM 视频基准测试结果

📄 许可证

本模型遵循 FAIR 非商业研究许可证。点击下方 “我接受” 或使用、分发研究材料的任何部分或元素，即表示您同意受本协议的约束。

许可证详细信息

• 许可证权利和再分发：授予您非排他性、全球性、不可转让且免版税的有限许可，以使用、复制、分发、拷贝、创建衍生作品并对研究材料进行修改。但不得将研究材料用于商业用途，再分发需遵循本协议条款。
• 用户支持：Meta 不提供研究材料的支持服务，使用由您自行决定。
• 免责声明：研究材料按 “原样” 提供，Meta 不承担任何形式的保证责任。
• 责任限制：Meta 及其关联公司不对因本协议引起的任何损失或损害承担责任。
• 知识产权：您对自己创建的衍生作品和修改拥有所有权，但如果对 Meta 提起侵权诉讼，本协议授予您的许可证将终止。
• 期限和终止：协议自您接受或访问研究材料时生效，直至按协议条款终止。若您违反协议，Meta 可终止协议。
• 适用法律和管辖权：本协议受加利福尼亚州法律管辖，相关争议由加利福尼亚州法院专属管辖。
• 修改和修订：Meta 可随时修改协议，您继续使用研究材料即表示同意修改。

可接受使用政策

您同意不将研究材料用于以下禁止用途：

1. 违法或侵犯他人权利：包括从事、促进、鼓励非法活动或内容，如暴力、恐怖主义、儿童剥削等。
2. 危害人身安全：从事、促进、协助可能导致人员死亡或身体伤害的活动，如军事、武器开发等。
3. 欺骗或误导他人：生成、推广欺诈或虚假信息，包括虚假评论等。
4. 未适当披露风险：未向最终用户适当披露研究材料的已知危险。

如发现违反本政策的情况，请通过 此链接 提交报告。

📖 引用

如果您觉得我们的代码对您的研究有帮助，请考虑引用以下论文：

@article{cho2025PerceptionLM,
  title={PerceptionLM: Open-Access Data and Models for Detailed Visual Understanding},
  author={Jang Hyun Cho and Andrea Madotto and Effrosyni Mavroudi and Triantafyllos Afouras and Tushar Nagarajan and Muhammad Maaz and Yale Song and Tengyu Ma and Shuming Hu and Hanoona Rasheed and Peize Sun and Po-Yao Huang and Daniel Bolya and Suyog Jain and Miguel Martin and Huiyu Wang and Nikhila Ravi and Shashank Jain and Temmy Stark and Shane Moon and Babak Damavandi and Vivian Lee and Andrew Westbury and Salman Khan and Philipp Kr\"{a}henb\"{u}hl and Piotr Doll{\'a}r and Lorenzo Torresani and Kristen Grauman and Christoph Feichtenhofer},
  journal={arXiv},
  year={2025}
}

@article{bolya2025PerceptionEncoder,
  title={Perception Encoder: The best visual embeddings are not at the output of the network},
  author={Daniel Bolya and Po-Yao Huang and Peize Sun and Jang Hyun Cho and Andrea Madotto and Chen Wei and Tengyu Ma and Jiale Zhi and Jathushan Rajasegaran and Hanoona Rasheed and Junke Wang and Marco Monteiro and Hu Xu and Shiyu Dong and Nikhila Ravi and Daniel Li and Piotr Doll{\'a}r and Christoph Feichtenhofer},
  journal={arXiv},
  year={2025}
}