Bio Medical Llama 3 2 1B CoT 012025

🚀 Bio-Medical-Llama-3-2-1B-CoT-012025

このモデルは、医療・生命科学（HLS）分野に特化して最適化された軽量かつ強力な言語モデルです。独自のバイオメディカルデータセットでファインチューニングされ、推論能力が強化されています。

このモデルは、Llama-3.2-1B-Instruct を独自の "BioMedData" データセットでファインチューニングしたものです。625,000 のサンプルを含むデータセットで訓練され、その中には推論能力を強化するための 25,000 の連鎖思考（CoT）命令サンプルも含まれています。医療・生命科学（HLS）分野に特化して最適化されています。

📚 ドキュメント

モデルの詳細

モデルの説明

Bio-Medical-Llama-3-2-1B-CoT-012025 モデルは、以下の用途に特化した軽量で強力な言語モデルです。

• 医療およびバイオメディカル分野のドメイン固有のコンテンツを生成する。
• CoT を使用して段階的な推論を必要とする複雑な質問に答える。
• 研究者、臨床医、および学生のそれぞれのバイオメディカル活動を支援する。

このモデルは、強化された CoT 機能を通じて、解釈可能性と改善された論理的整合性を提供するようにファインチューニングされています。

評価指標

Bio-Medical-Llama-3-2-1B-CoT-012025 は、Eleuther AI Language Model Evaluation Harness フレームワークを使用して、以下のタスクで評価されています。

• medmcqa
• medqa_4options
• mmlu_anatomy
• mmlu_clinical_knowledge
• mmlu_college_biology
• mmlu_college_medicine
• mmlu_medical_genetics
• mmlu_professional_medicine
• pubmedqa

結果は、同じサイズの汎用モデルに比べて一貫した性能向上を示しており、特に推論を必要とするタスクで顕著です。

想定される用途と制限

想定される用途:

1. 研究支援: バイオメディカルテキストからの推論とデータ抽出に研究者を支援する。
2. 臨床判断支援: 論理的かつエビデンスに基づく情報を提供し、意思決定を支援する。
3. 教育ツール: 複雑なバイオメディカル概念を理解するための学習リソースとして機能する。

制限と倫理的考慮事項:

• バイアス: モデルは、緩和策を講じたにもかかわらず、訓練データからのバイアスを反映する可能性があります。
• 精度: 応答は、重要なシナリオでは信頼できる情報源と照合する必要があります。
• 倫理的使用: モデルは、専門的な専門知識を補完するものであり、特に重要なアプリケーションではそれを置き換えるものではありません。

💻 使用例

基本的な使用法

import transformers
import torch

model_id = "ContactDoctor/Bio-Medical-Llama-3-2-1B-CoT-012025"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are an expert trained on healthcare and biomedical domain!"},
    {"role": "user", "content": "What are the differential diagnoses for a patient presenting with shortness of breath and chest pain?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

📄 ライセンス

このモデルは、Bio-Medical-Llama-3-2-1B-CoT-012025 (非商用利用のみ) のライセンスの下で提供されています。モデルを使用する前に、利用規約を確認してください。

連絡先情報

Bio-Medical-Llama-3-2-1B-CoT-012025 に関する詳細情報、問い合わせ、または問題については、以下に連絡してください。

Email: info@contactdoctor.in

Website: https://www.contactdoctor.in

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは次のとおりです。

• 学習率: 0.0002
• 訓練バッチサイズ: 8
• 評価バッチサイズ: 4
• シード: 42
• 勾配累積ステップ: 8
• 総訓練バッチサイズ: 32
• オプティマイザ: Adam (betas=(0.9, 0.999), epsilon=1e-08)
• 学習率スケジューラタイプ: Cosine
• 学習率スケジューラウォームアップ比率: 0.03
• 訓練ステップ: 2000
• 混合精度訓練: ネイティブ AMP

フレームワークバージョン

• PEFT: 0.11.0
• Transformers: 4.40.2
• Pytorch: 2.1.2
• Datasets: 2.19.1
• Tokenizers: 0.19.1

引用

Bio-Medical-Llama-3-2-1B-CoT-012025 を研究またはアプリケーションで使用する場合は、次のように引用してください。

@misc{ContactDoctor_Bio-Medical-Llama-3.2-1B-CoT-012025,
  author = {ContactDoctor},
  title = {Bio-Medical-Llama-3-2-1B-CoT-012025: A Reasoning-Enhanced Biomedical Language Model},
  year = {2025},
  howpublished = {https://huggingface.co/ContactDoctor/Bio-Medical-Llama-3-2-1B-CoT-012025},
}