Llava MORE Llama 3 1 8B Finetuning

🚀 LLaVA_MORE-llama_3_1-8B-finetuningのモデルカード

LLaVA-MORE は、LLaMA 3.1を言語モデルとして統合することで、よく知られたLLaVAアーキテクチャを強化しています。我々は、8Bパラメータの最初のモデルについて、第1段階と第2段階のチェックポイントを公開しています。

このモデルスペースでは、この論文で説明されているように、LLaVA-MORE LLaMA 3.1 8Bの第2段階（ファインチューニング）の重みを見つけることができます。

詳細については、LLaVA-MORE リポジトリをご覧ください。

🚀 クイックスタート

推論

リポジトリをクローンし、以下のスクリプトを実行することで、画像からテキストへのタスクでLLaVA-MOREを試すことができます。

python -u llava/eval/run_llava.py

📄 ライセンス

• ライセンス: apache-2.0

📚 ドキュメント

データセット

• liuhaotian/LLaVA-Instruct-150K

ライブラリ

• library_name: transformers

パイプラインタグ

• pipeline_tag: image-text-to-text

📄 引用

我々の研究を利用する場合は、以下のように引用してください。

@article{cocchi2025llava,
      title={{LLaVA-MORE: A Comparative Study of LLMs and Visual Backbones for Enhanced Visual Instruction Tuning}},
      author={Cocchi, Federico and Moratelli, Nicholas and Caffagni, Davide and Sarto, Sara and Baraldi, Lorenzo and Cornia, Marcella and Cucchiara, Rita},
      journal={arXiv preprint arXiv:2503.15621},
      year={2025}
}