🚀 生物醫學Llama-3-2-1B-CoT-012025
本模型是基於定製的“BioMedData”數據集對 Llama-3.2-1B-Instruct 進行微調的版本。通過增加 625,000 個示例,其中包括 25,000 個思維鏈(CoT)指令樣本,顯著增強了模型的推理能力。該模型專門針對醫療保健與生命科學(HLS)領域進行了優化。

🚀 快速開始
本模型是在自定義的“BioMedData”數據集上對 Llama-3.2-1B-Instruct 進行微調得到的。通過添加 625,000 個示例,其中包含 25,000 個思維鏈(CoT)指令樣本,增強了推理能力,特別針對醫療保健和生命科學領域進行了優化。
✨ 主要特性
- 領域特定內容生成:能夠生成醫療保健和生物醫學領域的特定內容。
- 複雜問題解答:利用思維鏈(CoT)進行逐步推理,回答複雜問題。
- 專業支持:為研究人員、臨床醫生和學生在生物醫學研究中提供支持。
- 可解釋性和邏輯連貫性:通過增強的 CoT 能力,提供更好的可解釋性和邏輯連貫性。
📦 安裝指南
文檔中未提及安裝步驟,暫不提供。
💻 使用示例
基礎用法
import transformers
import torch
model_id = "ContactDoctor/Bio-Medical-Llama-3-2-1B-CoT-012025"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device_map="auto",
)
messages = [
{"role": "system", "content": "You are an expert trained on healthcare and biomedical domain!"},
{"role": "user", "content": "What are the differential diagnoses for a patient presenting with shortness of breath and chest pain?"},
]
prompt = pipeline.tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
terminators = [
pipeline.tokenizer.eos_token_id,
pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
outputs = pipeline(
prompt,
max_new_tokens=256,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])
📚 詳細文檔
模型詳情
屬性 |
詳情 |
模型名稱 |
生物醫學Llama-3-2-1B-CoT-012025 |
基礎模型 |
Llama-3.2-1B-Instruct |
參數數量 |
10 億 |
訓練數據 |
自定義高質量生物醫學數據集,包含 625,000 個示例,其中包括 25,000 個 CoT 指令。 |
數據集中的條目數量 |
625,000 |
數據集組成 |
數據集包含合成、手動整理和注重推理的條目,確保全面覆蓋生物醫學知識和邏輯推理。 |
模型描述
生物醫學Llama-3-2-1B-CoT-012025 模型是一個輕量級但功能強大的語言模型,專為以下用途而設計:
- 生成醫療保健和生物醫學領域的特定內容。
- 使用思維鏈(CoT)回答需要逐步推理的複雜問題。
- 支持研究人員、臨床醫生和學生在各自的生物醫學研究中取得進展。
該模型經過微調,通過增強的 CoT 能力提供更好的可解釋性和邏輯連貫性。
評估指標
生物醫學Llama-3-2-1B-CoT-012025 模型使用 Eleuther AI 語言模型評估框架在以下任務中進行了評估:
- medmcqa
- medqa_4options
- mmlu_anatomy
- mmlu_clinical_knowledge
- mmlu_college_biology
- mmlu_college_medicine
- mmlu_medical_genetics
- mmlu_professional_medicine
- pubmedqa
結果顯示,與類似規模的通用模型相比,該模型在性能上有顯著提升,特別是在需要推理的任務中。
預期用途和限制
預期用途:
- 研究支持:協助研究人員從生物醫學文本中進行推理和提取數據。
- 臨床決策支持:提供基於邏輯和證據的信息,輔助臨床決策。
- 教育工具:作為學習資源,幫助理解複雜的生物醫學概念。
限制和道德考慮:
- 偏差:儘管努力減輕,但模型可能反映訓練數據中的偏差。
- 準確性:在關鍵場景中,應使用可靠來源對模型的響應進行交叉驗證。
- 道德使用:該模型應作為專業知識的補充,而不是替代,特別是在高風險應用中。
訓練超參數
以下是訓練過程中使用的超參數:
- 學習率:0.0002
- 訓練批次大小:8
- 評估批次大小:4
- 隨機種子:42
- 梯度累積步數:8
- 總訓練批次大小:32
- 優化器:Adam(betas=(0.9, 0.999),epsilon=1e-08)
- 學習率調度器類型:Cosine
- 學習率調度器預熱比例:0.03
- 訓練步數:2000
- 混合精度訓練:Native AMP
框架版本
- PEFT:0.11.0
- Transformers:4.40.2
- Pytorch:2.1.2
- Datasets:2.19.1
- Tokenizers:0.19.1
🔧 技術細節
文檔中未提及具體的技術實現細節,暫不提供。
📄 許可證
本模型遵循 生物醫學Llama-3-2-1B-CoT-012025(僅限非商業使用) 許可證。在使用模型之前,請仔細閱讀相關條款和條件。
聯繫信息
如需瞭解有關生物醫學Llama-3-2-1B-CoT-012025 的更多信息、諮詢問題或報告問題,請聯繫:
郵箱:info@contactdoctor.in
網站:https://www.contactdoctor.in
引用
如果您在研究或應用中使用了生物醫學Llama-3-2-1B-CoT-012025,請按以下格式引用:
@misc{ContactDoctor_Bio-Medical-Llama-3.2-1B-CoT-012025,
author = {ContactDoctor},
title = {Bio-Medical-Llama-3-2-1B-CoT-012025: A Reasoning-Enhanced Biomedical Language Model},
year = {2025},
howpublished = {https://huggingface.co/ContactDoctor/Bio-Medical-Llama-3-2-1B-CoT-012025},
}