Tarsier 7b

🚀 跗猴模型卡片

跗猴（Tarsier）模型是一個開源的大規模視頻語言模型，能夠生成高質量的視頻描述，具備出色的通用視頻理解能力。其中，跗猴 - 34b 在 6 個公開基準測試中取得了最優成績。

🚀 快速開始

如需使用該模型，請參考：使用說明

✨ 主要特性

• 多模態研究：主要用於大型多模態模型的研究，特別是視頻描述任務。
• 廣泛用戶群體：適用於計算機視覺、自然語言處理、機器學習和人工智能領域的研究人員和愛好者。

📚 詳細文檔

模型詳情

預期用途

主要預期用途

跗猴模型的主要用途是進行大型多模態模型的研究，尤其是視頻描述相關的研究。

主要預期用戶

該模型的主要預期用戶是計算機視覺、自然語言處理、機器學習和人工智能領域的研究人員和愛好者。

訓練數據集

跗猴模型採用兩階段訓練策略：

• 階段一：在 1300 萬條數據上進行多任務預訓練。
• 階段二：在 50 萬條數據上進行多粒度指令微調。

在兩個階段中，我們凍結了視覺變換器（ViT），並訓練投影層和大語言模型（LLM）的所有參數。

評估數據集

• 具有挑戰性的視頻描述數據集：[DREAM - 1K](https://huggingface.co/datasets/omni - research/DREAM - 1K)
• 多項選擇視頻問答：MVBench、[NeXT - QA](https://github.com/doc - doc/NExT - QA) 和 Egoschema
• 開放式視頻問答：MSVD - QA、[MSR - VTT - QA](https://opendatalab.com/OpenDataLab/MSR - VTT)、[ActivityNet - QA](https://github.com/MILVLG/activitynet - qa) 和 [TGIF - QA](https://opendatalab.com/OpenDataLab/TGIF - QA)
• 視頻字幕生成：MSVD - Caption、[MSRVTT - Caption](https://opendatalab.com/OpenDataLab/MSR - VTT)、[VATEX](https://eric - xw.github.io/vatex - website/about.html)

📄 許可證

lmsys/vicuna - 7b - v1.5 許可證。

關於模型的問題或建議反饋地址： https://github.com/bytedance/tarsier/issues