Libra V1.0 3b

🚀 天秤座（Libra）模型卡片

天秤座（Libra）是一款用於放射學報告生成的小型多模態語言模型，它採用了與同名模型相同的訓練策略。該模型能夠生成包含 時間對比（例如，將當前胸部X光片與先前的進行對比）的詳細 發現 部分。以下是對該模型的詳細介紹。

✨ 主要特性

• RAD - DINO：這是一個在醫學影像數據集上預訓練的視覺編碼器，能夠從胸部X光片中進行強大的特徵提取。
• Llama - 3.2 - 3B - Instruct：基於Llama - 3.2的30億參數語言模型。Llama 3.2經過指令微調的純文本模型針對多語言對話用例進行了優化，包括智能檢索和總結任務。
• 時間對齊連接器（TAC）：這是一個自定義適配器，可融合多個時間點的特徵，從而實現時間對比。

📚 詳細文檔

論文與資源

如需瞭解有關天秤座（Libra）的方法、理論基礎和性能基準的更詳細信息，請參考以下資源：

• 項目網站：[Libra v1.0](https://x - izhang.github.io/Libra_v1.0/)
• 論文：arXiv:2411.19378
• 代碼倉庫：[X - iZhang/Libra (GitHub)](https://github.com/X - iZhang/Libra)

也可以查看我們的演示空間！ [](https://huggingface.co/spaces/X - iZhang/Libra)

訓練策略

天秤座（Libra）採用 兩階段訓練過程：

1. 時間特徵對齊
   • 訓練TAC以有效融合和對齊不同時間點（當前和先前的胸部X光片）的特徵。
   • 重點捕捉顯著變化（例如，不透明度、設備和線條的出現或進展）。
2. 放射學報告生成的微調
   • 在大量配對的胸部X光圖像和放射學報告數據集上對語言模型部分進行微調。
   • 強調生成 發現 部分，尤其要納入時間描述符。

預期用途

天秤座（Libra）主要用於 輔助 臨床醫生、研究人員和醫學生生成胸部X光報告。主要應用包括：

• 臨床決策支持：提供可供放射科醫生完善的初步發現。
• 教育工具：為放射科住院醫師培訓展示示例解讀和時間變化。
• 研究：促進醫學影像中自動報告生成和時間特徵學習的研究。

⚠️ 重要提示

在做出最終臨床決策之前，輸出結果應由合格的放射科醫生或醫學專業人員進行審核。

侷限性與建議

1. 數據偏差：對於代表性不足的人群或罕見病症，模型的性能可能不太可靠。
2. 臨床監督：始終需要醫學專業人員來驗證結果 —— 天秤座（Libra）不能替代專業判斷。
3. 時間不準確：儘管TAC專注於時間對齊，但可能無法識別細微或不常見的變化。
4. 泛化能力：天秤座（Libra）在訓練期間未見過的胸部X光類型或病症上的性能可能有限。

倫理考量

• 患者隱私：確保數據完全去識別化，並符合HIPAA/GDPR（或相關隱私法規）。
• 負責任使用：謹慎使用天秤座（Libra）的輸出；不能保證其無錯誤。
• 問責制：用戶和組織必須承擔驗證臨床準確性和安全性的責任。

如何引用 ✒️

如果您在學術或研究環境中使用天秤座（Libra），請引用：

@misc{zhang2025libraleveragingtemporalimages,
      title={Libra: Leveraging Temporal Images for Biomedical Radiology Analysis}, 
      author={Xi Zhang and Zaiqiao Meng and Jake Lever and Edmond S. L. Ho},
      year={2025},
      eprint={2411.19378},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2411.19378}, 
}

免責聲明

本工具僅用於研究和教育目的。它未經FDA批准或CE認證用於臨床使用。用戶在做出任何臨床決策時應諮詢合格的醫療專業人員。

📄 許可證

本項目採用Apache - 2.0許可證。