Tinyllava OpenELM 450M SigLIP 0.89B

🚀 TinyLLaVA

TinyLLaVAは、0.55Bから3.1Bまでの規模の小規模な多モーダルモデル（LMMs）を一連でリリースしています。我々の最良のモデルであるTinyLLaVA - Phi - 2 - SigLIP - 3.1Bは、LLaVA - 1.5やQwen - VLなどの既存の7Bモデルを全体的な性能で上回っています。

🚀 クイックスタート

モデル紹介

ここでは、TinyLLaVA - OpenELM - 450M - SigLIP - 0.89Bを紹介します。このモデルは、TinyLLaVA Factoryのコードベースで訓練されています。大規模言語モデル（LLM）とビジョンタワーについては、それぞれ[OpenELM - 450M - Instruct](apple/OpenELM - 450M - Instruct)と[siglip - so400m - patch14 - 384](https://huggingface.co/google/siglip - so400m - patch14 - 384)を選択しています。このモデルの訓練に使用されたデータセットは、[LLaVA](https://github.com/haotian - liu/LLaVA/blob/main/docs/Data.md)データセットです。

💻 使用例

基本的な使用法

以下のテストコードを実行します。

from transformers import AutoTokenizer, AutoModelForCausalLM
hf_path = 'jiajunlong/TinyLLaVA-OpenELM-450M-SigLIP-0.89B'
model = AutoModelForCausalLM.from_pretrained(hf_path, trust_remote_code=True)
model.cuda()
config = model.config
tokenizer = AutoTokenizer.from_pretrained(hf_path, use_fast=False, model_max_length = config.tokenizer_model_max_length,padding_side = config.tokenizer_padding_side)
prompt="What are these?"
image_url="http://images.cocodataset.org/test-stuff2017/000000000001.jpg"
output_text, genertaion_time = model.chat(prompt=prompt, image=image_url, tokenizer=tokenizer)
print('model output:', output_text)
print('runing time:', genertaion_time)

結果表示

TinyLLaVA Factoryについて

TinyLLaVA Factoryは、小規模な多モーダルモデル用のオープンソースのモジュール化されたコードベースです。コード実装の簡潔性、新機能の拡張性、および訓練結果の再現性に重点を置いています。このコードリポジトリは、標準的な訓練と評価のフロー、柔軟なデータ前処理とモデル構成、および拡張しやすいアーキテクチャを提供しています。ユーザーは、最小限のコーディング作業と少ないコーディングエラーで、独自の多モーダルモデルをカスタマイズすることができます。

TinyLLaVA Factoryは、一連の最先端のモデルと方法を統合しています。

• 大規模言語モデル（LLM）は現在、OpenELM、TinyLlama、StableLM、Qwen、Gemma、およびPhiをサポートしています。
• ビジョンタワーは現在、CLIP、SigLIP、Dino、およびCLIPとDinoの組み合わせをサポートしています。
• コネクタは現在、MLP、Qformer、およびResamplerをサポートしています。

📄 ライセンス

このプロジェクトは、Apache - 2.0ライセンスを採用しています。