Bio Medical Llama 3 8B

🚀 バイオメディカルラマ3-8B

Bio-Medical-Llama-3-8Bは、バイオメディカル分野のアプリケーション向けに設計された大規模言語モデルです。meta-llama/Meta-Llama-3-8B-Instruct モデルをカスタムデータセットでファインチューニングしており、バイオメディカルの知識を幅広く網羅しています。

🚀 クイックスタート

Bio-Medical-Llama-3-8Bモデルを使用するには、以下のコードを参考にしてください。

import transformers
import torch

model_id = "ContactDoctor/Bio-Medical-Llama-3-8B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are an expert trained on healthcare and biomedical domain!"},
    {"role": "user", "content": "I'm a 35-year-old male and for the past few months, I've been experiencing fatigue, increased sensitivity to cold, and dry, itchy skin. What is the diagnosis here?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

✨ 主な機能

• バイオメディカル分野の文献レビューやデータ抽出をサポートします。
• 臨床の意思決定プロセスに情報を提供します。
• 医学系の学生や専門家の知識拡充のための教育ツールとして利用できます。

📚 ドキュメント

モデルの詳細

モデルの説明

Bio-Medical-Llama-3-8Bモデルは、バイオメディカルアプリケーション向けに設計された特殊な大規模言語モデルです。meta-llama/Meta-Llama-3-8B-Instructモデルからファインチューニングされ、500,000以上の多様なエントリを含むカスタムデータセットを使用しています。これらのエントリには合成データと手動で作成されたデータが混在しており、高品質でバイオメディカルのトピックを幅広くカバーしています。

このモデルは、さまざまなバイオメディカル分野に関連するテキストを理解し、生成するように訓練されており、バイオメディカル分野の研究者、臨床医、その他の専門家にとって貴重なツールとなります。

評価指標

Bio-Medical-Llama-3-8Bモデルは、多くの主要な大規模言語モデルを上回る性能を示しています。以下は、Eleuther AI Language Model Evaluation Harnessフレームワークを使用して、medmcqa、medqa_4options、mmlu_anatomy、mmlu_clinical_knowledge、mmlu_college_biology、mmlu_college_medicine、mmlu_medical_genetics、mmlu_professional_medicine、pubmedqaのタスクに対して評価されたメトリクスです。

使用目的と制限

Bio-Medical-Llama-3-8Bモデルは、バイオメディカル分野内の幅広いアプリケーションを目的としています。

1. 研究支援：研究者が文献レビューやバイオメディカルテキストからのデータ抽出を行うのを支援します。
2. 臨床意思決定支援：臨床の意思決定プロセスをサポートする情報を提供します。
3. 教育ツール：医学系の学生や専門家が知識を拡充するためのリソースとして利用できます。

制限事項と倫理的な考慮事項

Bio-Medical-Llama-3-8Bモデルは、さまざまなバイオメディカルの自然言語処理タスクで良好な性能を発揮しますが、ユーザーは以下の制限事項に注意する必要があります。

⚠️ 重要提示

• バイアス：モデルは訓練データに含まれるバイアスを引き継ぐ可能性があります。バランスの取れたデータセットを作成するための努力が行われていますが、一部のバイアスが残る可能性があります。
• 精度：モデルの応答は、見たデータのパターンに基づいているため、必ずしも正確または最新の情報であるとは限りません。ユーザーは重要な情報を信頼できるソースから検証する必要があります。
• 倫理的な使用：モデルは、特に利害関係の高い臨床設定では、責任を持って使用する必要があります。専門家の判断や専門知識を補完するものであり、置き換えるものではありません。

🔧 技術詳細

訓練のハイパーパラメータ

以下のハイパーパラメータは、訓練中に使用されました。

• 学習率: 0.0002
• 訓練バッチサイズ: 12
• 評価バッチサイズ: 8
• シード: 42
• 勾配累積ステップ: 4
• 総訓練バッチサイズ: 32
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: cosine
• 学習率スケジューラのウォームアップ比率: 0.03
• 訓練ステップ: 2000
• 混合精度訓練: Native AMP

フレームワークのバージョン

• PEFT 0.11.0
• Transformers 4.40.2
• Pytorch 2.1.2
• Datasets 2.19.1
• Tokenizers 0.19.1

📄 ライセンス

このモデルは、Bio-Medical-Llama-3-8B (非商用利用のみ)のライセンスの下で提供されています。モデルを使用する前に、利用規約を確認してください。

連絡先情報

Biomed-LLMに関する詳細情報、問い合わせ、または問題については、以下の連絡先にお問い合わせください。

• メール: info@contactdoctor.in
• ウェブサイト: https://www.contactdoctor.in

引用

あなたの研究やアプリケーションでBio-Medical LLMを使用する場合は、以下のように引用してください。

@misc{ContactDoctor_Bio-Medical-Llama-3-8B,
  author = ContactDoctor,
  title = {Bio-Medical: A High-Performance Biomedical Language Model},
  year = {2024},
  howpublished = {https://huggingface.co/ContactDoctor/Bio-Medical-Llama-3-8B},
}