Llava Phi2

🚀 モデルIDのモデルカード

このモデルは、LlaVA-Phiにインスパイアされた、Phi2モデルのマルチモーダル実装です。

✨ 主な機能

このモデルは、画像とテキストを入力として受け取り、テキストを出力するマルチモーダルモデルです。Phi2モデルをベースに、画像認識能力を強化しています。

📦 インストール

1. リポジトリのクローン

git clone https://github.com/zhuyiche/llava-phi.git
cd llava-phi

2. パッケージのインストール

conda create -n llava_phi python=3.10 -y
conda activate llava_phi
pip install --upgrade pip  # enable PEP 660 support
pip install -e .

💻 使用例

基本的な使用法

python llava_phi/eval/run_llava_phi.py --model-path="RaviNaik/Llava-Phi2" \
    --image-file="https://huggingface.co/RaviNaik/Llava-Phi2/resolve/main/people.jpg?download=true" \
    --query="How many people are there in the image?"

📚 ドキュメント

モデルの詳細

モデルのソース

• オリジナルリポジトリ: Llava-Phi
• 論文 [オプション]: LLaVA-Phi: Efficient Multi-Modal Assistant with Small Language Model
• デモ [オプション]: デモリンク

謝辞

この実装は、以下の素晴らしい成果に基づいています。

• LlaVA-Phi
• Llava
• Phi2

📄 ライセンス

このモデルはMITライセンスの下で提供されています。