Bio Medical Llama 3 2 1B CoT 012025

🚀 生物医学Llama-3-2-1B-CoT-012025

本模型是基于定制的“BioMedData”数据集对 Llama-3.2-1B-Instruct 进行微调的版本。通过增加 625,000 个示例，其中包括 25,000 个思维链（CoT）指令样本，显著增强了模型的推理能力。该模型专门针对医疗保健与生命科学（HLS）领域进行了优化。

🚀 快速开始

本模型是在自定义的“BioMedData”数据集上对 Llama-3.2-1B-Instruct 进行微调得到的。通过添加 625,000 个示例，其中包含 25,000 个思维链（CoT）指令样本，增强了推理能力，特别针对医疗保健和生命科学领域进行了优化。

✨ 主要特性

• 领域特定内容生成：能够生成医疗保健和生物医学领域的特定内容。
• 复杂问题解答：利用思维链（CoT）进行逐步推理，回答复杂问题。
• 专业支持：为研究人员、临床医生和学生在生物医学研究中提供支持。
• 可解释性和逻辑连贯性：通过增强的 CoT 能力，提供更好的可解释性和逻辑连贯性。

📦 安装指南

文档中未提及安装步骤，暂不提供。

💻 使用示例

基础用法

import transformers
import torch

model_id = "ContactDoctor/Bio-Medical-Llama-3-2-1B-CoT-012025"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are an expert trained on healthcare and biomedical domain!"},
    {"role": "user", "content": "What are the differential diagnoses for a patient presenting with shortness of breath and chest pain?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

📚 详细文档

模型详情

模型描述

生物医学Llama-3-2-1B-CoT-012025 模型是一个轻量级但功能强大的语言模型，专为以下用途而设计：

• 生成医疗保健和生物医学领域的特定内容。
• 使用思维链（CoT）回答需要逐步推理的复杂问题。
• 支持研究人员、临床医生和学生在各自的生物医学研究中取得进展。

该模型经过微调，通过增强的 CoT 能力提供更好的可解释性和逻辑连贯性。

评估指标

生物医学Llama-3-2-1B-CoT-012025 模型使用 Eleuther AI 语言模型评估框架在以下任务中进行了评估：

• medmcqa
• medqa_4options
• mmlu_anatomy
• mmlu_clinical_knowledge
• mmlu_college_biology
• mmlu_college_medicine
• mmlu_medical_genetics
• mmlu_professional_medicine
• pubmedqa

结果显示，与类似规模的通用模型相比，该模型在性能上有显著提升，特别是在需要推理的任务中。

预期用途和限制

预期用途：

1. 研究支持：协助研究人员从生物医学文本中进行推理和提取数据。
2. 临床决策支持：提供基于逻辑和证据的信息，辅助临床决策。
3. 教育工具：作为学习资源，帮助理解复杂的生物医学概念。

限制和道德考虑：

• 偏差：尽管努力减轻，但模型可能反映训练数据中的偏差。
• 准确性：在关键场景中，应使用可靠来源对模型的响应进行交叉验证。
• 道德使用：该模型应作为专业知识的补充，而不是替代，特别是在高风险应用中。

训练超参数

以下是训练过程中使用的超参数：

• 学习率：0.0002
• 训练批次大小：8
• 评估批次大小：4
• 随机种子：42
• 梯度累积步数：8
• 总训练批次大小：32
• 优化器：Adam（betas=(0.9, 0.999)，epsilon=1e-08）
• 学习率调度器类型：Cosine
• 学习率调度器预热比例：0.03
• 训练步数：2000
• 混合精度训练：Native AMP

框架版本

• PEFT：0.11.0
• Transformers：4.40.2
• Pytorch：2.1.2
• Datasets：2.19.1
• Tokenizers：0.19.1

🔧 技术细节

文档中未提及具体的技术实现细节，暂不提供。

📄 许可证

本模型遵循 生物医学Llama-3-2-1B-CoT-012025（仅限非商业使用） 许可证。在使用模型之前，请仔细阅读相关条款和条件。

联系信息

如需了解有关生物医学Llama-3-2-1B-CoT-012025 的更多信息、咨询问题或报告问题，请联系： 邮箱：info@contactdoctor.in 网站：https://www.contactdoctor.in

引用

如果您在研究或应用中使用了生物医学Llama-3-2-1B-CoT-012025，请按以下格式引用：

@misc{ContactDoctor_Bio-Medical-Llama-3.2-1B-CoT-012025,
  author = {ContactDoctor},
  title = {Bio-Medical-Llama-3-2-1B-CoT-012025: A Reasoning-Enhanced Biomedical Language Model},
  year = {2025},
  howpublished = {https://huggingface.co/ContactDoctor/Bio-Medical-Llama-3-2-1B-CoT-012025},
}