Libra V1.0 7b

🚀 Libra模型卡片

Libra是一款專注於放射學報告生成的多模態大語言模型，尤其擅長胸部X光片解讀。它能生成包含時間對比的詳細“檢查結果”部分，為醫學診斷提供有力支持。

🚀 快速開始

此部分文檔未提供相關內容，暫不展示。

✨ 主要特性

Libra 是一款專門用於 放射學報告生成（特別是 胸部X光片解讀）的多模態大語言模型（LLM）。它可以生成帶有 時間對比（例如，將當前胸部X光片與之前的進行對比）的詳細 檢查結果 部分。Libra 集成了以下關鍵組件：

• RAD - DINO：一個在醫學影像數據集上預訓練的視覺編碼器，用於從胸部X光片中進行強大的特徵提取。
• Meditron - 7B：一個基於 Llama - 2 的 70 億參數大語言模型，專門用於醫學文本生成。
• 時間對齊連接器（TAC）：一個自定義適配器，用於融合多個時間點的特徵，以實現時間對比。

📚 詳細文檔

概述

本模型卡片提供了 Libra 的架構、訓練方法、侷限性和推薦使用指南的概述。

論文和資源

如需瞭解有關 Libra 的方法、理論基礎和性能基準的更詳細信息，請參考以下資源：

• 項目網站：[Libra v1.0](https://x - izhang.github.io/Libra_v1.0/)
• 論文：arXiv:2411.19378
• 代碼倉庫：[X - iZhang/Libra (GitHub)](https://github.com/X - iZhang/Libra)

也可以查看我們的 Spaces 演示！ [](https://huggingface.co/spaces/X - iZhang/Libra)

訓練策略

Libra 採用 兩階段訓練過程：

1. 時間特徵對齊
   • 訓練 TAC 以有效地融合和對齊不同時間點（當前和之前的胸部X光片）的特徵。
   • 重點捕捉顯著變化（例如，不透明度、設備和線條的出現或進展）。
2. 放射學報告生成的微調
   • 在大量配對的胸部X光片圖像和放射學報告數據集上對語言模型部分進行微調。
   • 強調生成 檢查結果 部分，特別是融入時間描述符。

預期用途

Libra 主要旨在 協助 臨床醫生、研究人員和醫學生生成胸部X光片報告。主要應用包括：

• 臨床決策支持：提供可供放射科醫生完善的初步檢查結果。
• 教育工具：為培訓放射科住院醫生展示示例解讀和時間變化。
• 研究：促進醫學影像中自動報告生成和時間特徵學習的研究。

⚠️ 重要提示

最終臨床決策做出之前，輸出結果應由合格的放射科醫生或醫學專業人員進行審核。

侷限性和建議

1. 數據偏差：模型對於代表性不足的人群或罕見病症的性能可能不太可靠。
2. 臨床監督：始終需要醫學專業人員驗證結果 —— Libra 不能替代專業判斷。
3. 時間準確性：儘管 TAC 專注於時間對齊，但細微或不常見的變化可能無法被識別。
4. 泛化能力：Libra 在訓練期間未見過的胸部X光片類型或病症上的性能可能有限。

倫理考量

• 患者隱私：確保數據完全去識別化，並符合 HIPAA/GDPR（或相關隱私法規）。
• 負責任使用：謹慎使用 Libra 的輸出；不能保證其無錯誤。
• 責任：用戶和組織必須承擔驗證臨床準確性和安全性的責任。

如何引用 ✒️

如果您在學術或研究環境中使用 Libra，請引用：

@misc{zhang2025libraleveragingtemporalimages,
      title={Libra: Leveraging Temporal Images for Biomedical Radiology Analysis}, 
      author={Xi Zhang and Zaiqiao Meng and Jake Lever and Edmond S. L. Ho},
      year={2025},
      eprint={2411.19378},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2411.19378}, 
}

免責聲明

本工具僅用於研究和教育目的。它未獲得 FDA 批准或 CE 標誌用於臨床使用。用戶在做出任何臨床決策時應諮詢合格的醫療專業人員。

📄 許可證

本模型採用 Apache - 2.0 許可證。