Tinyllava Phi 2 SigLIP 3.1B

🚀 TinyLLaVA

TinyLLaVAは、14億から31億のパラメータ規模の小規模な大規模マルチモーダルモデル（LMM）ファミリーをリリースしています。我々の最高性能のモデルであるTinyLLaVA-Phi-2-SigLIP-3.1Bは、LLaVA-1.5やQwen-VLなどの既存の70億パラメータモデルと比較して、総合的な性能が優れています。

🚀 クイックスタート

ここでは、TinyLLaVA Factory コードベースで学習されたTinyLLaVA-Phi-2-SigLIP-3.1Bを紹介します。大規模言語モデル（LLM）とビジョンタワーには、それぞれPhi-2とsiglip-so400m-patch14-384を選択しています。このモデルの学習に使用されたデータセットは、ShareGPT4Vデータセットです。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM

hf_path = 'tinyllava/TinyLLaVA-Phi-2-SigLIP-3.1B'
model = AutoModelForCausalLM.from_pretrained(hf_path, trust_remote_code=True)
model.cuda()
config = model.config
tokenizer = AutoTokenizer.from_pretrained(hf_path, use_fast=False, model_max_length = config.tokenizer_model_max_length,padding_side = config.tokenizer_padding_side)
prompt="What are these?"
image_url="http://images.cocodataset.org/test-stuff2017/000000000001.jpg"
output_text, genertaion_time = model.chat(prompt=prompt, image=image_url, tokenizer=tokenizer)

print('model output:', output_text)
print('runing time:', genertaion_time)

📚 ドキュメント

結果

P.S. TinyLLaVA Factoryは、コード実装の簡素さ、新機能の拡張性、学習結果の再現性に重点を置いた、小規模LMM用のオープンソースのモジュール化されたコードベースです。このコードリポジトリは、標準的な学習と評価パイプライン、柔軟なデータ前処理とモデル構成、および拡張しやすいアーキテクチャを提供しています。ユーザーは最小限のコーディング作業で独自のLMMをカスタマイズできます。

TinyLLaVA Factoryは、最新のモデルと手法を統合しています。

• LLMは現在、OpenELM、TinyLlama、StableLM、Qwen、Gemma、およびPhiをサポートしています。
• ビジョンタワーは現在、CLIP、SigLIP、Dino、およびCLIPとDinoの組み合わせをサポートしています。
• コネクタは現在、MLP、Qformer、およびResamplerをサポートしています。

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で提供されています。