Libra V1.0 7b

🚀 Libra模型卡片

Libra是一款专注于放射学报告生成的多模态大语言模型，尤其擅长胸部X光片解读。它能生成包含时间对比的详细“检查结果”部分，为医学诊断提供有力支持。

🚀 快速开始

此部分文档未提供相关内容，暂不展示。

✨ 主要特性

Libra 是一款专门用于 放射学报告生成（特别是 胸部X光片解读）的多模态大语言模型（LLM）。它可以生成带有 时间对比（例如，将当前胸部X光片与之前的进行对比）的详细 检查结果 部分。Libra 集成了以下关键组件：

• RAD - DINO：一个在医学影像数据集上预训练的视觉编码器，用于从胸部X光片中进行强大的特征提取。
• Meditron - 7B：一个基于 Llama - 2 的 70 亿参数大语言模型，专门用于医学文本生成。
• 时间对齐连接器（TAC）：一个自定义适配器，用于融合多个时间点的特征，以实现时间对比。

📚 详细文档

概述

本模型卡片提供了 Libra 的架构、训练方法、局限性和推荐使用指南的概述。

论文和资源

如需了解有关 Libra 的方法、理论基础和性能基准的更详细信息，请参考以下资源：

• 项目网站：[Libra v1.0](https://x - izhang.github.io/Libra_v1.0/)
• 论文：arXiv:2411.19378
• 代码仓库：[X - iZhang/Libra (GitHub)](https://github.com/X - iZhang/Libra)

也可以查看我们的 Spaces 演示！ [](https://huggingface.co/spaces/X - iZhang/Libra)

训练策略

Libra 采用 两阶段训练过程：

1. 时间特征对齐
   • 训练 TAC 以有效地融合和对齐不同时间点（当前和之前的胸部X光片）的特征。
   • 重点捕捉显著变化（例如，不透明度、设备和线条的出现或进展）。
2. 放射学报告生成的微调
   • 在大量配对的胸部X光片图像和放射学报告数据集上对语言模型部分进行微调。
   • 强调生成 检查结果 部分，特别是融入时间描述符。

预期用途

Libra 主要旨在 协助 临床医生、研究人员和医学生生成胸部X光片报告。主要应用包括：

• 临床决策支持：提供可供放射科医生完善的初步检查结果。
• 教育工具：为培训放射科住院医生展示示例解读和时间变化。
• 研究：促进医学影像中自动报告生成和时间特征学习的研究。

⚠️ 重要提示

最终临床决策做出之前，输出结果应由合格的放射科医生或医学专业人员进行审核。

局限性和建议

1. 数据偏差：模型对于代表性不足的人群或罕见病症的性能可能不太可靠。
2. 临床监督：始终需要医学专业人员验证结果 —— Libra 不能替代专业判断。
3. 时间准确性：尽管 TAC 专注于时间对齐，但细微或不常见的变化可能无法被识别。
4. 泛化能力：Libra 在训练期间未见过的胸部X光片类型或病症上的性能可能有限。

伦理考量

• 患者隐私：确保数据完全去识别化，并符合 HIPAA/GDPR（或相关隐私法规）。
• 负责任使用：谨慎使用 Libra 的输出；不能保证其无错误。
• 责任：用户和组织必须承担验证临床准确性和安全性的责任。

如何引用 ✒️

如果您在学术或研究环境中使用 Libra，请引用：

@misc{zhang2025libraleveragingtemporalimages,
      title={Libra: Leveraging Temporal Images for Biomedical Radiology Analysis}, 
      author={Xi Zhang and Zaiqiao Meng and Jake Lever and Edmond S. L. Ho},
      year={2025},
      eprint={2411.19378},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2411.19378}, 
}

免责声明

本工具仅用于研究和教育目的。它未获得 FDA 批准或 CE 标志用于临床使用。用户在做出任何临床决策时应咨询合格的医疗专业人员。

📄 许可证

本模型采用 Apache - 2.0 许可证。