Libra Llava Med V1.5 Mistral 7b

🚀 LLaVA-Med v1.5（基於 Mistral-7B-Instruct-v0.2）

LLaVA-Med（生物醫學大語言與視覺助手）是一個為生物醫學應用而適配的開源大視覺語言模型。它基於LLaVA構建，並通過課程學習進行了增強，專門針對開放式生物醫學問答任務進行了微調。

此版本旨在支持相關論文的研究可重複性，該論文展示了該模型在諸如PathVQA和VQA-RAD等生物醫學視覺問答基準測試中的性能提升。

⚠️ 重要提示

如需獲取原始模型權重，請參考 microsoft/llava-med-v1.5-mistral-7b。

✨ 主要特性

• 專為生物醫學應用設計，是開源的大視覺語言模型。
• 基於LLaVA構建，通過課程學習增強。
• 針對開放式生物醫學問答任務進行微調。
• 在生物醫學視覺問答基準測試中表現更優。

🚀 快速開始

實驗性使用

此模型檢查點僅用於實驗性使用，可直接在 Libra倉庫 中進行測試。

關鍵修改

為了在推理過程中啟用重新訓練的視覺編碼器，請確保應用以下配置：

"unfreeze_mm_vision_tower": true

📚 詳細文檔

如需深入瞭解Libra框架的方法、理論見解和性能基準，請參考以下資源：

• 🌐 項目網站：Libra v1.0
• 📄 論文：arXiv:2411.19378
• 💻 代碼倉庫：X-iZhang/Libra (GitHub)

📄 許可證

遵循 mistralai/Mistral-7B-Instruct-v0.2 的許可證。

📦 模型信息