Libra V1.0 3b

🚀 天秤座（Libra）模型卡片

天秤座（Libra）是一款用于放射学报告生成的小型多模态语言模型，它采用了与同名模型相同的训练策略。该模型能够生成包含 时间对比（例如，将当前胸部X光片与先前的进行对比）的详细 发现 部分。以下是对该模型的详细介绍。

✨ 主要特性

• RAD - DINO：这是一个在医学影像数据集上预训练的视觉编码器，能够从胸部X光片中进行强大的特征提取。
• Llama - 3.2 - 3B - Instruct：基于Llama - 3.2的30亿参数语言模型。Llama 3.2经过指令微调的纯文本模型针对多语言对话用例进行了优化，包括智能检索和总结任务。
• 时间对齐连接器（TAC）：这是一个自定义适配器，可融合多个时间点的特征，从而实现时间对比。

📚 详细文档

论文与资源

如需了解有关天秤座（Libra）的方法、理论基础和性能基准的更详细信息，请参考以下资源：

• 项目网站：[Libra v1.0](https://x - izhang.github.io/Libra_v1.0/)
• 论文：arXiv:2411.19378
• 代码仓库：[X - iZhang/Libra (GitHub)](https://github.com/X - iZhang/Libra)

也可以查看我们的演示空间！ [](https://huggingface.co/spaces/X - iZhang/Libra)

训练策略

天秤座（Libra）采用 两阶段训练过程：

1. 时间特征对齐
   • 训练TAC以有效融合和对齐不同时间点（当前和先前的胸部X光片）的特征。
   • 重点捕捉显著变化（例如，不透明度、设备和线条的出现或进展）。
2. 放射学报告生成的微调
   • 在大量配对的胸部X光图像和放射学报告数据集上对语言模型部分进行微调。
   • 强调生成 发现 部分，尤其要纳入时间描述符。

预期用途

天秤座（Libra）主要用于 辅助 临床医生、研究人员和医学生生成胸部X光报告。主要应用包括：

• 临床决策支持：提供可供放射科医生完善的初步发现。
• 教育工具：为放射科住院医师培训展示示例解读和时间变化。
• 研究：促进医学影像中自动报告生成和时间特征学习的研究。

⚠️ 重要提示

在做出最终临床决策之前，输出结果应由合格的放射科医生或医学专业人员进行审核。

局限性与建议

1. 数据偏差：对于代表性不足的人群或罕见病症，模型的性能可能不太可靠。
2. 临床监督：始终需要医学专业人员来验证结果 —— 天秤座（Libra）不能替代专业判断。
3. 时间不准确：尽管TAC专注于时间对齐，但可能无法识别细微或不常见的变化。
4. 泛化能力：天秤座（Libra）在训练期间未见过的胸部X光类型或病症上的性能可能有限。

伦理考量

• 患者隐私：确保数据完全去识别化，并符合HIPAA/GDPR（或相关隐私法规）。
• 负责任使用：谨慎使用天秤座（Libra）的输出；不能保证其无错误。
• 问责制：用户和组织必须承担验证临床准确性和安全性的责任。

如何引用 ✒️

如果您在学术或研究环境中使用天秤座（Libra），请引用：

@misc{zhang2025libraleveragingtemporalimages,
      title={Libra: Leveraging Temporal Images for Biomedical Radiology Analysis}, 
      author={Xi Zhang and Zaiqiao Meng and Jake Lever and Edmond S. L. Ho},
      year={2025},
      eprint={2411.19378},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2411.19378}, 
}

免责声明

本工具仅用于研究和教育目的。它未经FDA批准或CE认证用于临床使用。用户在做出任何临床决策时应咨询合格的医疗专业人员。

📄 许可证

本项目采用Apache - 2.0许可证。