Qwenmedic V1 Gguf

🚀 QwenMedic-v1

QwenMedic-v1 是一款專為醫療領域打造的模型，基於 Qwen3-1.7B 因果語言模型進行微調。它在臨床推理和指令遵循任務方面表現出色，可用於診斷問答和臨床總結等工作，為醫療行業提供有力支持。

🚀 快速開始

推理示例

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/QwenMedic-v1"

# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

# prepare the model input
prompt = "A 55-year-old male with Type 2 diabetes presents with sudden chest pain "
    "and diaphoresis. What are the top differential diagnoses?"
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=True # Switches between thinking and non-thinking modes. Default is True.
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# conduct text completion
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=32768
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist() 

# parsing thinking content
try:
    # rindex finding 151668 (</think>)
    index = len(output_ids) - output_ids[::-1].index(151668)
except ValueError:
    index = 0

thinking_content = tokenizer.decode(output_ids[:index], skip_special_tokens=True).strip("\n")
content = tokenizer.decode(output_ids[index:], skip_special_tokens=True).strip("\n")

print("thinking content:", thinking_content)
print("content:", content)

✨ 主要特性

• 專業適配：是 Qwen3-1.7B 因果語言模型的醫療專業適配版本，針對臨床推理和指令遵循任務進行微調。
• 多場景應用：可用於臨床問答、鑑別診斷、患者筆記總結、醫學教育和決策支持等。

📦 安裝指南

文檔未提及安裝步驟，故跳過該章節。

📚 詳細文檔

概述

QwenMedic-v1 是 Qwen3-1.7B 因果語言模型的醫療專業適配版本，針對臨床推理和指令遵循任務進行了微調。它在兩個精心策劃的醫療數據集上進行了 1 個週期 的訓練，以提高診斷問答和臨床總結的能力。

基礎模型

微調數據

1. 醫學推理 SFT (FreedomIntelligence/medical-o1-reasoning-SFT)
   • 可驗證醫學問題的思維鏈推理示例。
   • 語言：英語
   • 使用的分割：train
2. 通用醫學指令 (jtatman/medical-sci-instruct-1m-sharegpt)
   • 涵蓋醫學主題的對話式問答提示。
   • 通過 train[:100000] 採樣前 100000 個示例。

訓練配置

• 框架：PyTorch + Hugging Face Transformers
• 優化器：AdamW
• 學習率：2 × 10⁻⁵
• 批量大小：16（帶梯度累積）
• 精度：bfloat16 混合精度
• 硬件：NVIDIA RTX 3090（24 GB）

預期用途

• 臨床問答和鑑別診斷
• 患者筆記總結
• 醫學教育和決策支持

侷限性與風險

⚠️ 重要提示

• 可能會產生 幻覺 或聽起來合理但不正確的建議。
• 由於訓練數據覆蓋範圍存在 偏差。
• 未獲得 FDA 批准，不應取代專業醫療判斷。
• 避免在未進行適當去識別處理的情況下輸入 患者可識別 數據。

最終訓練指標總結

🔧 技術細節

文檔中關於技術細節的描述未超過 50 字，故跳過該章節。

📄 許可證

本模型採用 Apache - 2.0 許可證。

📞 聯繫信息

• 創建者：Andre Ross
• 公司：Ross Technologies
• 郵箱：devops.ross@gmail.com