Libra Llava Med V1.5 Mistral 7b

🚀 LLaVA-Med v1.5 ( Mistral-7B-Instruct-v0.2 ベース)

LLaVA-Med (Large Language and Vision Assistant for bioMedicine) は、バイオメディカルアプリケーション向けに適応されたオープンソースの大規模ビジョン言語モデルです。LLaVA をベースに、カリキュラム学習によって強化され、オープンエンドのバイオメディカル質問応答タスクに特化して微調整されています。

このリリースは、対応する論文の研究再現性をサポートすることを目的としており、PathVQA や VQA-RAD などのバイオメディカル VQA ベンチマークでの性能向上を実証しています。

🚀 クイックスタート

このモデルは画像とテキストを入力とし、テキストを出力するタスクに対応しています。以下に関連情報をまとめます。

⚠️ Important Note

元のモデルウェイトについては、microsoft/llava-med-v1.5-mistral-7b を参照してください。

✨ 主な機能

• バイオメディカルアプリケーション向けに最適化された大規模ビジョン言語モデル。
• オープンエンドのバイオメディカル質問応答タスクに特化した微調整。
• PathVQA や VQA-RAD などのバイオメディカル VQA ベンチマークでの性能向上。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

このモデルチェックポイントは 実験的 な使用を目的としており、Libra リポジトリ 内で直接テストできます。

高度な使用法

推論中に 再学習済み のビジョンエンコーダを有効にするには、以下の設定を適用してください。

"unfreeze_mm_vision_tower": true

📚 ドキュメント

Libra フレームワークの方法論、理論的洞察、および性能ベンチマークについて詳しく学ぶには、以下のリソースを参照してください。

• 🌐 Project Website: Libra v1.0
• 📄 Paper: arXiv:2411.19378
• 💻 Code Repository: X-iZhang/Libra (GitHub)

📄 ライセンス

このモデルは mistralai/Mistral-7B-Instruct-v0.2 のライセンスに基づいています。