Llava Phi2

🚀 模型 ID 的模型卡片

本項目是受 LlaVA - Phi 啟發，基於 Phi2 模型的多模態實現，可有效處理圖像和文本信息。

🚀 快速開始

使用以下代碼開始使用該模型：

1. 克隆此倉庫並進入 llava - phi 文件夾

git clone https://github.com/zhuyiche/llava-phi.git
cd llava-phi

2. 安裝依賴包

conda create -n llava_phi python=3.10 -y
conda activate llava_phi
pip install --upgrade pip  # 啟用 PEP 660 支持
pip install -e .

3. 運行模型

python llava_phi/eval/run_llava_phi.py --model-path="RaviNaik/Llava-Phi2" \
    --image-file="https://huggingface.co/RaviNaik/Llava-Phi2/resolve/main/people.jpg?download=true" \
    --query="How many people are there in the image?"

✨ 主要特性

模型詳情

1. 大語言模型骨幹：Phi2
2. 視覺塔：clip - vit - large - patch14 - 336
3. 預訓練數據集：[帶有 BLIP 字幕的 LAION - CC - SBU 數據集（200k 樣本）](https://huggingface.co/datasets/liuhaotian/LLaVA - Pretrain)
4. 微調數據集：[基於 COCO 的 150k 指令數據集](https://huggingface.co/datasets/liuhaotian/LLaVA - Instruct - 150K)
5. 微調模型：RaviNaik/Llava - Phi2

模型來源

• 原始倉庫：Llava - Phi
• 論文（可選）：LLaVA - Phi: Efficient Multi - Modal Assistant with Small Language Model
• 演示（可選）：[演示鏈接](https://huggingface.co/spaces/RaviNaik/MultiModal - Phi2)

致謝

本實現基於以下優秀工作： LlaVA - Phi [Llava](https://github.com/haotian - liu/LLaVA) [Phi2](https://huggingface.co/microsoft/phi - 2)

📄 許可證

本項目採用 MIT 許可證。