Bio Medical MultiModal Llama 3 8B V1

🚀 生物医学多模态Llama-3-8B-V1

本模型是一个专门为生物医学应用设计的多模态大语言模型。它基于Meta-Llama-3-8B-Instruct进行微调，使用了定制的生物医学文本和图像数据集，能理解和生成与生物医学领域相关的文本，为该领域的研究人员、临床医生等专业人士提供了有力的工具。

✨ 主要特性

• 基于Meta-Llama-3-8B-Instruct模型进行微调，在生物医学领域具有更强的专业性。
• 使用定制的高质量生物医学文本和图像数据集进行训练，数据集中包含超过500,000个多样化的条目，涵盖了合成和人工策划的数据，确保了对生物医学知识的广泛覆盖。
• 能够理解和生成与各种生物医学领域相关的文本，可应用于研究支持、临床决策支持和教育等多个方面。

📦 安装指南

文档中未提及安装步骤，暂不提供。

💻 使用示例

基础用法

import torch
from PIL import Image
from transformers import AutoModel, AutoTokenizer,BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=torch.float16,
)

model = AutoModel.from_pretrained(
    "ContactDoctor/Bio-Medical-MultiModal-Llama-3-8B-V1",
    quantization_config=bnb_config,
    device_map="auto",
    torch_dtype=torch.float16,
    trust_remote_code=True,
    attn_implementation="flash_attention_2",
)

tokenizer = AutoTokenizer.from_pretrained("ContactDoctor/Bio-Medical-MultiModal-Llama-3-8B-V1", trust_remote_code=True)

image = Image.open("Path to Your image").convert('RGB')
question = 'Give the modality, organ, analysis, abnormalities (if any), treatment (if abnormalities are present)?'
msgs = [{'role': 'user', 'content': [image, question]}]

res = model.chat(
    image=image,
    msgs=msgs,
    tokenizer=tokenizer,
    sampling=True,
    temperature=0.95,
    stream=True
)

generated_text = ""
for new_text in res:
    generated_text += new_text
    print(new_text, flush=True, end='')

示例响应

该模态为磁共振成像（MRI），正在分析的器官是颈椎，图像中未发现异常。

📚 详细文档

模型详情

模型描述

生物医学多模态Llama-3-8B-V1是专为生物医学应用设计的专业大语言模型。它是从Llama-3-8B-Instruct模型微调而来，使用了包含超过500,000个不同条目的定制数据集。这些条目包括合成数据和手动策划数据的混合，确保了生物医学主题的高质量和广泛覆盖。

该模型经过训练，能够理解和生成与各种生物医学领域相关的文本，使其成为生物医学领域的研究人员、临床医生和其他专业人士的宝贵工具。

预期用途与限制

生物医学多模态Llama-3-8B-V1旨在用于生物医学领域的广泛应用，包括：

1. 研究支持：协助研究人员进行文献综述和从生物医学文本中提取数据。
2. 临床决策支持：提供信息以支持临床决策过程。
3. 教育工具：作为医学生和专业人士扩展知识库的资源。

限制和伦理考虑

虽然生物医学多模态Llama-3-8B-V1在各种生物医学自然语言处理任务中表现良好，但用户应注意以下限制：

⚠️ 重要提示

• 偏差：模型可能继承训练数据中存在的偏差。虽然已努力策划平衡的数据集，但仍可能存在一些偏差。
• 准确性：模型的响应基于其所见数据中的模式，可能并不总是准确或最新的。用户应从可靠来源验证关键信息。
• 伦理使用：该模型应负责任地使用，特别是在风险较高的临床环境中。它应补充而不是取代专业判断和专业知识。

训练和评估

生物医学多模态Llama-3-8B-V1使用NVIDIA H100 GPU进行训练，这为高效处理大规模数据和模型参数提供了必要的计算能力。已经实施了严格的评估协议，以将其性能与类似模型进行基准比较，确保其在实际应用中的鲁棒性和可靠性。

该模型使用MiniCPM进行训练，这使我们能够有效地处理多模态数据。MiniCPM提供了处理和从视觉信息中学习的能力。

联系信息

如需了解有关生物医学大语言模型的更多信息、咨询或反馈问题，请联系：

• 电子邮件：info@contactdoctor.in
• 网站：https://www.contactdoctor.in

训练超参数

训练期间使用了以下超参数：

• 学习率：0.0002
• 训练批次大小：4
• 评估批次大小：4
• 训练轮数：3
• 随机种子：42
• 梯度累积步数：4
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器类型：余弦
• 学习率调度器热身比例：0.03
• 混合精度训练：原生自动混合精度（Native AMP）

框架版本

• PEFT 0.11.0
• Transformers 4.40.2
• Pytorch 2.1.2
• Datasets 2.19.1
• Tokenizers 0.19.1

引用

如果您在研究或应用中使用了生物医学多模态Llama-3-8B-V1，请按以下方式引用：

@misc{ContactDoctor_MEDLLM,
  author = ContactDoctor,
  title = {Bio-Medical-MultiModal-Llama-3-8B-V1: A High-Performance Biomedical Multimodal LLM},
  year = {2024},
  howpublished = {https://huggingface.co/ContactDoctor/Bio-Medical-MultiModal-Llama-3-8B-V1},
}

📄 许可证

该模型遵循生物医学多模态Llama-3-8B-V1（仅限非商业使用）许可协议。请在使用模型前仔细阅读许可条款。