Qwenmedic V1 Gguf

🚀 QwenMedic-v1

QwenMedic-v1 是一款专为医疗领域打造的模型，基于 Qwen3-1.7B 因果语言模型进行微调。它在临床推理和指令遵循任务方面表现出色，可用于诊断问答和临床总结等工作，为医疗行业提供有力支持。

🚀 快速开始

推理示例

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/QwenMedic-v1"

# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

# prepare the model input
prompt = "A 55-year-old male with Type 2 diabetes presents with sudden chest pain "
    "and diaphoresis. What are the top differential diagnoses?"
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=True # Switches between thinking and non-thinking modes. Default is True.
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# conduct text completion
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=32768
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist() 

# parsing thinking content
try:
    # rindex finding 151668 (</think>)
    index = len(output_ids) - output_ids[::-1].index(151668)
except ValueError:
    index = 0

thinking_content = tokenizer.decode(output_ids[:index], skip_special_tokens=True).strip("\n")
content = tokenizer.decode(output_ids[index:], skip_special_tokens=True).strip("\n")

print("thinking content:", thinking_content)
print("content:", content)

✨ 主要特性

• 专业适配：是 Qwen3-1.7B 因果语言模型的医疗专业适配版本，针对临床推理和指令遵循任务进行微调。
• 多场景应用：可用于临床问答、鉴别诊断、患者笔记总结、医学教育和决策支持等。

📦 安装指南

文档未提及安装步骤，故跳过该章节。

📚 详细文档

概述

QwenMedic-v1 是 Qwen3-1.7B 因果语言模型的医疗专业适配版本，针对临床推理和指令遵循任务进行了微调。它在两个精心策划的医疗数据集上进行了 1 个周期 的训练，以提高诊断问答和临床总结的能力。

基础模型

微调数据

1. 医学推理 SFT (FreedomIntelligence/medical-o1-reasoning-SFT)
   • 可验证医学问题的思维链推理示例。
   • 语言：英语
   • 使用的分割：train
2. 通用医学指令 (jtatman/medical-sci-instruct-1m-sharegpt)
   • 涵盖医学主题的对话式问答提示。
   • 通过 train[:100000] 采样前 100000 个示例。

训练配置

• 框架：PyTorch + Hugging Face Transformers
• 优化器：AdamW
• 学习率：2 × 10⁻⁵
• 批量大小：16（带梯度累积）
• 精度：bfloat16 混合精度
• 硬件：NVIDIA RTX 3090（24 GB）

预期用途

• 临床问答和鉴别诊断
• 患者笔记总结
• 医学教育和决策支持

局限性与风险

⚠️ 重要提示

• 可能会产生 幻觉 或听起来合理但不正确的建议。
• 由于训练数据覆盖范围存在 偏差。
• 未获得 FDA 批准，不应取代专业医疗判断。
• 避免在未进行适当去识别处理的情况下输入 患者可识别 数据。

最终训练指标总结

🔧 技术细节

文档中关于技术细节的描述未超过 50 字，故跳过该章节。

📄 许可证

本模型采用 Apache - 2.0 许可证。

📞 联系信息

• 创建者：Andre Ross
• 公司：Ross Technologies
• 邮箱：devops.ross@gmail.com