Bio Medical Llama 3 8B CoT 012025

🚀 Bio-Medical-Llama-3-8B-CoT-012025

Bio-Medical-Llama-3-8B-CoT-012025 是基於原始 Bio-Medical-Llama-3-8B 和 Deepseek's Distilled Llama 8B 版本微調擴展而來的模型。它藉助思維鏈（COT）指令集，具備了先進的推理能力，致力於為醫療保健和生命科學領域提供最先進的專業大語言模型。

✨ 主要特性

• 增強的推理能力：經過專門訓練，能夠執行多步驟推理，並提供準確、上下文豐富的響應。
• 緊湊的模型規模，具備通用性：擁有 1B、3B 和 8B 等多種變體，可同時優化邊緣設備和高性能系統的使用。
• 專業的訓練重點：使用針對生物醫學推理和問題解決的獨特挑戰而設計的數據集進行開發。

📦 安裝指南

文檔未提供安裝步驟，暫不展示。

💻 使用示例

基礎用法

import transformers
import torch

model_id = "ContactDoctor/Bio-Medical-Llama-3-8B-CoT-012025"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are an expert trained on healthcare and biomedical reasoning."},
    {"role": "user", "content": "What are the differential diagnoses for a 45-year-old male presenting with chest pain?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

📚 詳細文檔

模型詳情

模型描述

Bio-Medical-Llama-3-8B-CoT-012025 代表了醫療保健和生命科學領域人工智能驅動推理的重大進步。通過融入思維鏈微調，該模型擅長處理複雜的多步驟推理任務，非常適合需要批判性思維和細緻理解的場景。

評估指標

Bio-Medical-Llama-3-8B-CoT-012025 在多步驟推理任務中表現出顯著的進步，在 HLS 基準測試中超越了其前身。然而，需要注意的是，它在涉及多項選擇題的評估任務中的表現可能不夠穩健，因為它是專門針對基於推理的挑戰進行優化的。

預期用途和侷限性

Bio-Medical-Llama-3-8B-CoT-012025 專為生物醫學領域中需要高水平推理的應用而設計，包括：

1. 臨床推理：支持醫療專業人員進行診斷和治療規劃。
2. 醫學研究：協助進行假設生成、文獻綜合和數據解釋。
3. 教育工具：為醫學生和專業人員提供高級培訓模擬和問題解決支持。

侷限性和倫理考慮

⚠️ 重要提示

• 偏差：雖然在訓練過程中努力減少偏差，但訓練數據中固有的一些偏差可能仍然存在。
• 準確性：該模型的推理基於訓練數據，可能並不總是最新的或在上下文中完美的。用戶應根據權威來源驗證關鍵輸出。
• 倫理使用：該模型不能替代專業的醫學判斷，應負責任地使用，特別是在臨床決策中。

訓練超參數

以下是訓練期間使用的超參數：

• 學習率：0.00015
• 訓練批次大小：16
• 評估批次大小：8
• 隨機種子：42
• 梯度累積步數：4
• 總訓練批次大小：64
• 優化器：AdamW，β=(0.9, 0.98)，ε=1e - 08
• 學習率調度器類型：線性
• 學習率調度器熱身比例：0.05
• 訓練步數：2500
• 混合精度訓練：原生 AMP

框架版本

• PEFT 0.12.0
• Transformers 4.41.0
• Pytorch 2.1.2
• Datasets 2.21.0
• Tokenizers 0.22.0

📄 許可證

該模型遵循 Bio-Medical-Llama-3-8B-CoT-012025（僅限非商業使用） 許可證。使用前請仔細閱讀條款和條件。

聯繫信息

如需瞭解有關 Bio-Medical-Llama-3-8B-CoT-012025 的更多信息、諮詢或反饋問題，請聯繫：

• 郵箱：info@contactdoctor.in
• 網站：https://www.contactdoctor.in

引用

如果您在研究或應用中使用了 Bio-Medical-Llama-3-8B-CoT-012025，請按以下方式引用：

@misc{ContactDoctor_Bio-Medical-Llama-3-8B-CoT,
  author = ContactDoctor,
  title = {Bio-Medical-CoT: Advanced Reasoning for Healthcare Applications},
  year = {2025},
  howpublished = {https://huggingface.co/ContactDoctor/Bio-Medical-Llama-3-8B-CoT-012025},
}