🚀 BabyDoctor模型卡片
本模型卡片详细介绍了BabyDoctor模型,这是一个多模态大语言模型(MLLM),它融合了CLiP和LLaMA 2的能力,既能理解和生成文本,也能理解图像。该模型经过微调,能够用医学术语解读X光、超声、MRI和CT等放射学图像。
🚀 快速开始
若要复现使用BabyDoctor模型的结果,并在您自己的数据上运行该模型,相关说明可在BabyDoctor仓库中找到。
✨ 主要特性
- 多模态融合:结合CLiP和LLaMA 2的能力,实现文本和图像的理解与生成。
- 医学领域专业化:经过微调,能够准确解读放射学图像。
- 先进的训练技术:采用监督微调(SFT)、低秩自适应(LoRA)和量化低秩自适应(QLoRA)等技术。
📚 详细文档
模型详情
模型描述
BabyDoctor采用自回归语言模型,将优化的Transformer架构与视觉编码器相结合。微调版本利用监督微调(SFT)、低秩自适应(LoRA)和量化低秩自适应(QLoRA),以提高在医学领域的专业化程度。
属性 |
详情 |
开发者 |
Markus Zhang和Vir Chau |
模型类型 |
多模态大语言模型 |
语言(NLP) |
英语 |
许可证 |
仅限学术研究。需遵循LLaMa 2、CLiP、GPT - 4和LLaVA的许可证 |
微调基础模型 |
基础大语言模型:LLaMA - 2 - 7B - Chat;基础视觉编码器:CLIP - L |
模型来源
用途
直接用途
BabyDoctor旨在用于英语研究。它主要设计用于医疗健康领域的类助手聊天,提供放射学图像的解读和分析。
下游用途
BabyDoctor的潜在应用可能包括但不限于健康和医学领域的研究、学术项目以及非生产性应用。
超出适用范围的使用
BabyDoctor不得用于任何违反适用法律法规(包括贸易合规法律)的方式,不得用于英语以外的语言,也不得用于《BabyDoctor可接受使用政策和许可协议》禁止的任何其他方式。该模型尚未准备好用于面向生产用户的用例,需要进一步调整。
偏差、风险和局限性
虽然BabyDoctor旨在提供有用的医疗健康相关建议,但不应将其视为专业医疗建议的替代品。它可能无法准确涵盖医学或健康的所有领域。该模型无法访问个人健康记录或特定患者信息,其建议不应替代与医疗专业人员的咨询。
训练详情
训练数据
BabyDoctor使用LLaVA - Instruct - 80K和Roco - Instruct - 65K数据集进行训练,这两个数据集分别是遵循指令和与医学相关的数据集。预训练和微调数据集中均未包含Meta用户数据。
预训练数据的截止日期为2022年9月,但一些微调数据较新,截至2023年7月。
训练过程
- 预处理:使用LLaMA 2 - 7B Chat和CLiP在2T标记和1 - 1亿张图像上进行预训练。然后,LLaVA将CLiP投影到LLaMa 2上,接着使用合成的GPT - 4遵循指令的数据进行训练。最后,对BabyDoctor进行微调以解读放射学图像。
- 训练超参数:
- 基础大语言模型:LLaMA - 2 - 7B - Chat
- 基础视觉编码器:CLiP - L
- 预训练数据:LCS - 558K
- 预训练计划:1e
- 微调数据1:LLaVA - Instruct - 80K
- 微调计划1:低秩自适应(LoRA)1个周期
- 微调数据2:roco - instruct - 65k
- 微调计划:量化低秩自适应(QLoRA)1个周期,4位
- 速度、大小、时间:使用Lambda Labs的1xA10云GPU进行训练,耗时8小时。
评估
测试数据、因素和指标
鉴于其解读放射学图像的特定用途,BabyDoctor尚未像LLaMA 2模型那样在广泛的任务上进行评估。
建议
用户(直接用户和下游用户)应了解该模型的局限性和预期用途。不应将BabyDoctor生成的信息视为专业医疗建议的替代品。
引用
BibTeX:
@misc{photomz2023,
author = {Markus Zhang, Vir Chau},
title = {BabyDoctor},
year = {2023},
howpublished = {\url{https://github.com/photomz/BabyDoctor}},
note = {GitHub}
}
APA:
@misc{photomz2023,
author = {{Zhang, M.} and {Chau, V.}},
title = {BabyDoctor},
year = {2023},
howpublished = {\url{https://github.com/photomz/BabyDoctor}},
note = {GitHub}
}
若有任何问题,请通过提交GitHub问题与我们联系!
📄 许可证
本模型许可证为AFL - 3.0,仅限学术研究使用,且需遵循LLaMa 2、CLiP、GPT - 4和LLaVA的许可证。