Llama 3.2V 11B Cot

🚀 Llama-3.2V-11B-cot

Llama-3.2V-11B-cotは、自発的かつ体系的な推論が可能な視覚言語モデルであるLLaVA-CoTの最初のバージョンです。このモデルは、画像とテキストを入力として受け取り、テキストを出力することができます。

🚀 クイックスタート

Llama-3.2-11B-Vision-Instructの推論コードを使用することができます。

✨ 主な機能

Llama-3.2V-11B-cotは、自発的かつ体系的な推論が可能な視覚言語モデルです。

📦 インストール

このREADMEにはインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

このREADMEには使用例が記載されていないため、このセクションをスキップします。

📚 ドキュメント

モデルの詳細

• ライセンス：apache-2.0
• ファインチューニング元のモデル：meta-llama/Llama-3.2-11B-Vision-Instruct

ベンチマーク結果

再現方法

結果を再現するには、VLMEvalKitと以下の設定を使用する必要があります。

これらのパラメータは、このファイルの80-83行目で変更することができ、ファイル全体のmax_new_tokensを変更することができます。

注意: Llama-3.2-11B-Vision-Instructと同じ設定を使用していますが、max_new_tokensを2048に拡張しています。

結果を取得した後、モデルの出力をフィルタリングし、との間の出力のみを保持する必要があります。

理論的には違いはないはずですが、経験的には、評価者のGPT-4oが時々不正確になるため、パフォーマンスに差が見られます。

との間の出力を保持することで、ほとんどの回答をVLMEvalKitシステムを使用して直接抽出することができ、バイアスを大幅に減らすことができます。

訓練の詳細

訓練データ

このモデルは、LLaVA-CoT-100kデータセットで訓練されています。

訓練手順

このモデルは、llama-recipesで以下の設定でファインチューニングされています。同じ設定を使用することで、正確に結果を再現することができます。

🔧 技術詳細

このモデルは、LLaVA-CoT: Let Vision Language Models Reason Step-by-Stepで提案されています。

📄 ライセンス

このモデルは、apache-2.0ライセンスの下で提供されています。

⚠️ 重要提示

このモデルは、訓練データの制限により、他の視覚言語モデルと同様に、偏ったまたは不快な内容を生成する可能性があります。技術的には、命令の追従などの面でのモデルのパフォーマンスは、業界の主要なモデルには及ばないままです。