Bio Medical Llama 3 2 1B CoT 012025

🚀 生物醫學Llama-3-2-1B-CoT-012025

本模型是基於定製的“BioMedData”數據集對 Llama-3.2-1B-Instruct 進行微調的版本。通過增加 625,000 個示例，其中包括 25,000 個思維鏈（CoT）指令樣本，顯著增強了模型的推理能力。該模型專門針對醫療保健與生命科學（HLS）領域進行了優化。

🚀 快速開始

本模型是在自定義的“BioMedData”數據集上對 Llama-3.2-1B-Instruct 進行微調得到的。通過添加 625,000 個示例，其中包含 25,000 個思維鏈（CoT）指令樣本，增強了推理能力，特別針對醫療保健和生命科學領域進行了優化。

✨ 主要特性

• 領域特定內容生成：能夠生成醫療保健和生物醫學領域的特定內容。
• 複雜問題解答：利用思維鏈（CoT）進行逐步推理，回答複雜問題。
• 專業支持：為研究人員、臨床醫生和學生在生物醫學研究中提供支持。
• 可解釋性和邏輯連貫性：通過增強的 CoT 能力，提供更好的可解釋性和邏輯連貫性。

📦 安裝指南

文檔中未提及安裝步驟，暫不提供。

💻 使用示例

基礎用法

import transformers
import torch

model_id = "ContactDoctor/Bio-Medical-Llama-3-2-1B-CoT-012025"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are an expert trained on healthcare and biomedical domain!"},
    {"role": "user", "content": "What are the differential diagnoses for a patient presenting with shortness of breath and chest pain?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

📚 詳細文檔

模型詳情

模型描述

生物醫學Llama-3-2-1B-CoT-012025 模型是一個輕量級但功能強大的語言模型，專為以下用途而設計：

• 生成醫療保健和生物醫學領域的特定內容。
• 使用思維鏈（CoT）回答需要逐步推理的複雜問題。
• 支持研究人員、臨床醫生和學生在各自的生物醫學研究中取得進展。

該模型經過微調，通過增強的 CoT 能力提供更好的可解釋性和邏輯連貫性。

評估指標

生物醫學Llama-3-2-1B-CoT-012025 模型使用 Eleuther AI 語言模型評估框架在以下任務中進行了評估：

• medmcqa
• medqa_4options
• mmlu_anatomy
• mmlu_clinical_knowledge
• mmlu_college_biology
• mmlu_college_medicine
• mmlu_medical_genetics
• mmlu_professional_medicine
• pubmedqa

結果顯示，與類似規模的通用模型相比，該模型在性能上有顯著提升，特別是在需要推理的任務中。

預期用途和限制

預期用途：

1. 研究支持：協助研究人員從生物醫學文本中進行推理和提取數據。
2. 臨床決策支持：提供基於邏輯和證據的信息，輔助臨床決策。
3. 教育工具：作為學習資源，幫助理解複雜的生物醫學概念。

限制和道德考慮：

• 偏差：儘管努力減輕，但模型可能反映訓練數據中的偏差。
• 準確性：在關鍵場景中，應使用可靠來源對模型的響應進行交叉驗證。
• 道德使用：該模型應作為專業知識的補充，而不是替代，特別是在高風險應用中。

訓練超參數

以下是訓練過程中使用的超參數：

• 學習率：0.0002
• 訓練批次大小：8
• 評估批次大小：4
• 隨機種子：42
• 梯度累積步數：8
• 總訓練批次大小：32
• 優化器：Adam（betas=(0.9, 0.999)，epsilon=1e-08）
• 學習率調度器類型：Cosine
• 學習率調度器預熱比例：0.03
• 訓練步數：2000
• 混合精度訓練：Native AMP

框架版本

• PEFT：0.11.0
• Transformers：4.40.2
• Pytorch：2.1.2
• Datasets：2.19.1
• Tokenizers：0.19.1

🔧 技術細節

文檔中未提及具體的技術實現細節，暫不提供。

📄 許可證

本模型遵循 生物醫學Llama-3-2-1B-CoT-012025（僅限非商業使用） 許可證。在使用模型之前，請仔細閱讀相關條款和條件。

聯繫信息

如需瞭解有關生物醫學Llama-3-2-1B-CoT-012025 的更多信息、諮詢問題或報告問題，請聯繫： 郵箱：info@contactdoctor.in 網站：https://www.contactdoctor.in

引用

如果您在研究或應用中使用了生物醫學Llama-3-2-1B-CoT-012025，請按以下格式引用：

@misc{ContactDoctor_Bio-Medical-Llama-3.2-1B-CoT-012025,
  author = {ContactDoctor},
  title = {Bio-Medical-Llama-3-2-1B-CoT-012025: A Reasoning-Enhanced Biomedical Language Model},
  year = {2025},
  howpublished = {https://huggingface.co/ContactDoctor/Bio-Medical-Llama-3-2-1B-CoT-012025},
}