Tinyllava 1.1b V0.1

🚀 視覺問答模型項目

本項目基於視覺問答技術，利用特定的基礎模型進行訓練，可對給定圖像進行問答交互，為圖像理解和信息獲取提供了便捷的方式。

🚀 快速開始

本項目以 TinyLlama 為基礎模型，藉助 BakLlava 倉庫進行訓練。

✨ 主要特性

• 基於強大的基礎模型進行訓練，具備良好的視覺問答能力。
• 支持多模型對比，可在同一界面中比較不同模型的效果。

📦 安裝指南

若您未使用 Linux 系統，請不要繼續，可查看 macOS 和 Windows 的安裝說明。

克隆倉庫並進入目錄

git clone https://github.com/haotian-liu/LLaVA.git
cd LLaVA

安裝依賴包

conda create -n llava python=3.10 -y
conda activate llava
pip install --upgrade pip  # 啟用 PEP 660 支持
pip install -e .

安裝訓練所需的額外包

pip install -e ".[train]"
pip install flash-attn --no-build-isolation

升級到最新代碼庫

git pull
pip install -e .

啟動控制器

python -m llava.serve.controller --host 0.0.0.0 --port 10000

啟動 Gradio 網頁服務器

python -m llava.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload

此時，您已啟動了 Gradio 網頁界面。現在，您可以使用屏幕上打印的 URL 打開網頁界面。您可能會注意到模型列表中沒有模型，不用擔心，因為我們還沒有啟動任何模型工作器。當您啟動模型工作器時，模型列表將自動更新。

啟動模型工作器

這是實際在 GPU 上進行推理的 工作器。每個工作器負責 --model-path 中指定的單個模型。

python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path ameywtf/tinyllava-1.1b-v0.1

等待進程完成模型加載，直到您看到 "Uvicorn running on ..."。現在，刷新您的 Gradio 網頁界面，您將在模型列表中看到剛剛啟動的模型。

您可以根據需要啟動任意數量的工作器，並在同一 Gradio 界面中比較不同的模型檢查點。請保持 --controller 相同，併為每個工作器將 --port 和 --worker 修改為不同的端口號。

python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port <不同於 40000，例如 40001> --worker http://localhost:<相應更改，例如 40001> --model-path <ckpt2>

如果您使用的是帶有 M1 或 M2 芯片的 Apple 設備，可以使用 --device 標誌指定 mps 設備：--device mps。

💻 使用示例

基礎用法

提問均為 "What is shown in the given image?"

📄 許可證

本項目採用 Apache-2.0 許可證。