Tarsier 34b

🚀 タルシアモデルカード

タルシア-34bは、高品質な動画説明を生成することを目的としたオープンソースの大規模動画言語モデルです。一般的な動画理解能力も備えており、6つのオープンベンチマークでSOTAの結果を達成しています。

🚀 クイックスタート

このモデルの使い方については、こちらを参照してください。

✨ 主な機能

• 高品質な動画説明の生成
• 一般的な動画理解能力（6つのオープンベンチマークでSOTA）

📦 インストール

READMEにインストール手順が記載されていないため、このセクションを省略します。

💻 使用例

READMEに使用例のコードが記載されていないため、このセクションを省略します。

📚 ドキュメント

モデル詳細

意図された使用方法

主な使用目的

タルシアの主な使用目的は、大規模マルチモーダルモデルの研究、特に動画説明の研究です。

主なユーザー

このモデルの主なユーザーは、コンピュータビジョン、自然言語処理、機械学習、人工知能の研究者および愛好家です。

学習データセット

タルシアは2段階の学習戦略を採用しています。

• 第1段階: 1300万件のデータでのマルチタスク事前学習
• 第2段階: 50万件のデータでのマルチグレインな命令微調整

両段階で、ViTを固定し、投影層とLLMのすべてのパラメータを学習します。

評価データセット

• 難易度の高い動画説明データセット: DREAM-1K
• 選択式VQA: MVBench、NeXT-QA、Egoschema
• 自由記述式VQA: MSVD-QA、MSR-VTT-QA、ActivityNet-QA、TGIF-QA
• 動画キャプション: MSVD-Caption、MSRVTT-Caption、VATEX

🔧 技術詳細

READMEに具体的な技術詳細（50文字以上）が記載されていないため、このセクションを省略します。

📄 ライセンス

NousResearch/Nous-Hermes-2-Yi-34Bライセンスです。

モデルに関する質問やコメントを送る場所: https://github.com/bytedance/tarsier/issues