Bio Medical Llama 3 8B CoT 012025

🚀 Bio-Medical-Llama-3-8B-CoT-012025

Bio-Medical-Llama-3-8B-CoT-012025 是基于原始 Bio-Medical-Llama-3-8B 和 Deepseek's Distilled Llama 8B 版本微调扩展而来的模型。它借助思维链（COT）指令集，具备了先进的推理能力，致力于为医疗保健和生命科学领域提供最先进的专业大语言模型。

✨ 主要特性

• 增强的推理能力：经过专门训练，能够执行多步骤推理，并提供准确、上下文丰富的响应。
• 紧凑的模型规模，具备通用性：拥有 1B、3B 和 8B 等多种变体，可同时优化边缘设备和高性能系统的使用。
• 专业的训练重点：使用针对生物医学推理和问题解决的独特挑战而设计的数据集进行开发。

📦 安装指南

文档未提供安装步骤，暂不展示。

💻 使用示例

基础用法

import transformers
import torch

model_id = "ContactDoctor/Bio-Medical-Llama-3-8B-CoT-012025"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are an expert trained on healthcare and biomedical reasoning."},
    {"role": "user", "content": "What are the differential diagnoses for a 45-year-old male presenting with chest pain?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

📚 详细文档

模型详情

模型描述

Bio-Medical-Llama-3-8B-CoT-012025 代表了医疗保健和生命科学领域人工智能驱动推理的重大进步。通过融入思维链微调，该模型擅长处理复杂的多步骤推理任务，非常适合需要批判性思维和细致理解的场景。

评估指标

Bio-Medical-Llama-3-8B-CoT-012025 在多步骤推理任务中表现出显著的进步，在 HLS 基准测试中超越了其前身。然而，需要注意的是，它在涉及多项选择题的评估任务中的表现可能不够稳健，因为它是专门针对基于推理的挑战进行优化的。

预期用途和局限性

Bio-Medical-Llama-3-8B-CoT-012025 专为生物医学领域中需要高水平推理的应用而设计，包括：

1. 临床推理：支持医疗专业人员进行诊断和治疗规划。
2. 医学研究：协助进行假设生成、文献综合和数据解释。
3. 教育工具：为医学生和专业人员提供高级培训模拟和问题解决支持。

局限性和伦理考虑

⚠️ 重要提示

• 偏差：虽然在训练过程中努力减少偏差，但训练数据中固有的一些偏差可能仍然存在。
• 准确性：该模型的推理基于训练数据，可能并不总是最新的或在上下文中完美的。用户应根据权威来源验证关键输出。
• 伦理使用：该模型不能替代专业的医学判断，应负责任地使用，特别是在临床决策中。

训练超参数

以下是训练期间使用的超参数：

• 学习率：0.00015
• 训练批次大小：16
• 评估批次大小：8
• 随机种子：42
• 梯度累积步数：4
• 总训练批次大小：64
• 优化器：AdamW，β=(0.9, 0.98)，ε=1e - 08
• 学习率调度器类型：线性
• 学习率调度器热身比例：0.05
• 训练步数：2500
• 混合精度训练：原生 AMP

框架版本

• PEFT 0.12.0
• Transformers 4.41.0
• Pytorch 2.1.2
• Datasets 2.21.0
• Tokenizers 0.22.0

📄 许可证

该模型遵循 Bio-Medical-Llama-3-8B-CoT-012025（仅限非商业使用） 许可证。使用前请仔细阅读条款和条件。

联系信息

如需了解有关 Bio-Medical-Llama-3-8B-CoT-012025 的更多信息、咨询或反馈问题，请联系：

• 邮箱：info@contactdoctor.in
• 网站：https://www.contactdoctor.in

引用

如果您在研究或应用中使用了 Bio-Medical-Llama-3-8B-CoT-012025，请按以下方式引用：

@misc{ContactDoctor_Bio-Medical-Llama-3-8B-CoT,
  author = ContactDoctor,
  title = {Bio-Medical-CoT: Advanced Reasoning for Healthcare Applications},
  year = {2025},
  howpublished = {https://huggingface.co/ContactDoctor/Bio-Medical-Llama-3-8B-CoT-012025},
}