Bio Medical Llama 3 8B CoT 012025

🚀 Bio-Medical-Llama-3-8B-CoT-012025

このモデルは、ヘルスケアと生命科学分野に特化した最先端の大規模言語モデルで、Chain-of-Thought (COT) を用いた高度な推論能力を備えています。

🚀 クイックスタート

Bio-Medical-Llama-3-8B-CoT-012025 は、元の Bio-Medical-Llama-3-8B と Deepseek's Distilled Llama 8B バージョンをファインチューニングした拡張版です。Chain-of-Thought (COT) 命令セットを用いた高度な推論能力を備えており、ヘルスケアと生命科学分野に特化した最先端の大規模言語モデルを提供するという我々のコミットメントをさらに進めるものです。

✨ 主な機能

• 高度な推論能力：多段階の推論を行い、正確で文脈に沿った応答を提供するように訓練されています。
• コンパクトなモデルサイズ：1B、3B、8B のバリアントがあり、エッジデバイスと高性能システムの両方に最適化されています。
• 特化した訓練データ：生物医学的な推論と問題解決の独自の課題に対応するために設計されたデータセットを使用して開発されています。

📦 インストール

インストールに関する具体的な手順は提供されていません。

💻 使用例

基本的な使用法

import transformers
import torch

model_id = "ContactDoctor/Bio-Medical-Llama-3-8B-CoT-012025"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are an expert trained on healthcare and biomedical reasoning."},
    {"role": "user", "content": "What are the differential diagnoses for a 45-year-old male presenting with chest pain?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

📚 ドキュメント

モデルの詳細

モデルの説明

Bio-Medical-Llama-3-8B-CoT-012025 は、ヘルスケアと生命科学分野のAI駆動型推論における大きな進歩を表しています。Chain-of-Thought のファインチューニングを組み込むことで、このモデルは複雑な多段階の推論タスクを処理する能力に優れており、批判的な思考と微妙な理解が必要なシナリオに最適です。

評価指標

Bio-Medical-Llama-3-8B-CoT-012025 は、多段階の推論タスクにおいて大きな進歩を示しており、HLSベンチマークでその前身を上回っています。ただし、複数選択問題を含む評価タスクでの性能は、推論ベースの課題に特化して最適化されているため、それほど強力ではないことに注意する必要があります。

想定される用途と制限

Bio-Medical-Llama-3-8B-CoT-012025 は、生物医学分野で高度な推論を必要とするアプリケーションに設計されており、以下のような用途が想定されています。

1. 臨床推論：医療関係者の診断と治療計画立案を支援します。
2. 医学研究：仮説生成、文献合成、データ解釈を支援します。
3. 教育ツール：医学生や医療関係者に高度なトレーニングシミュレーションと問題解決のサポートを提供します。

⚠️ 重要注意

訓練中にバイアスを最小限に抑える努力が行われましたが、訓練データに内在する一部のバイアスが残る可能性があります。このモデルの推論は訓練データに基づいており、常に最新または文脈的に完全であるとは限りません。ユーザーは重要な出力を信頼できる情報源と照合する必要があります。また、このモデルは専門的な医学的判断の代替品ではなく、特に臨床的な意思決定においては責任を持って使用する必要があります。

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

• 学習率: 0.00015
• トレーニングバッチサイズ: 16
• 評価バッチサイズ: 8
• シード: 42
• 勾配累積ステップ: 4
• 総トレーニングバッチサイズ: 64
• オプティマイザ: AdamW (betas=(0.9, 0.98), epsilon=1e-08)
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップ比率: 0.05
• トレーニングステップ: 2500
• 混合精度トレーニング: Native AMP

フレームワークバージョン

• PEFT 0.12.0
• Transformers 4.41.0
• Pytorch 2.1.2
• Datasets 2.21.0
• Tokenizers 0.22.0

引用

Bio-Medical-Llama-3-8B-CoT-012025 を研究やアプリケーションで使用する場合は、以下のように引用してください。

@misc{ContactDoctor_Bio-Medical-Llama-3-8B-CoT, author = ContactDoctor, title = {Bio-Medical-CoT: Advanced Reasoning for Healthcare Applications}, year = {2025}, howpublished = {https://huggingface.co/ContactDoctor/Bio-Medical-Llama-3-8B-CoT-012025}, }

📄 ライセンス

このモデルは Bio-Medical-Llama-3-8B-CoT-012025 (非商用利用のみ) のライセンスの下で提供されています。使用前に利用規約を確認してください。

連絡先情報

Bio-Medical-Llama-3-8B-CoT-012025 に関する詳細情報、問い合わせ、または問題については、以下の連絡先にお問い合わせください。

Email: info@contactdoctor.in

Website: https://www.contactdoctor.in