Bio Medical MultiModal Llama 3 8B V1

🚀 バイオメディカルマルチモーダルLlama-3-8B-V1

このモデルは、独自の「BioMedData」テキストおよび画像データセットを使用して、meta-llama/Meta-Llama-3-8B-Instruct をファインチューニングしたマルチモーダルバージョンです。バイオメディカル分野の研究や診断支援など、様々な用途に役立ちます。

📚 ドキュメント

モデルの詳細

モデルの説明

Bio-Medical-MultiModal-Llama-3-8B-V1は、バイオメディカルアプリケーション向けに設計された特殊な大規模言語モデルです。Llama-3-8B-Instructモデルからファインチューニングされ、500,000以上の多様なエントリを含む独自のデータセットを使用しています。これらのエントリには合成データと手動で作成されたデータが混在しており、高品質で幅広いバイオメディカルトピックをカバーしています。

このモデルは、様々なバイオメディカル分野に関連するテキストを理解し、生成するように学習されており、バイオメディカル分野の研究者、臨床医、およびその他の専門家にとって貴重なツールとなります。

ライセンス

このモデルは、Bio-Medical-MultiModal-Llama-3-8B-V1 (非商用利用のみ) のライセンスの下で提供されています。モデルを使用する前に、利用規約を確認してください。

クイックデモ

使い方

import torch
from PIL import Image
from transformers import AutoModel, AutoTokenizer,BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=torch.float16,
)

model = AutoModel.from_pretrained(
    "ContactDoctor/Bio-Medical-MultiModal-Llama-3-8B-V1",
    quantization_config=bnb_config,
    device_map="auto",
    torch_dtype=torch.float16,
    trust_remote_code=True,
    attn_implementation="flash_attention_2",
)

tokenizer = AutoTokenizer.from_pretrained("ContactDoctor/Bio-Medical-MultiModal-Llama-3-8B-V1", trust_remote_code=True)

image = Image.open("Path to Your image").convert('RGB')
question = 'Give the modality, organ, analysis, abnormalities (if any), treatment (if abnormalities are present)?'
msgs = [{'role': 'user', 'content': [image, question]}]

res = model.chat(
    image=image,
    msgs=msgs,
    tokenizer=tokenizer,
    sampling=True,
    temperature=0.95,
    stream=True
)

generated_text = ""
for new_text in res:
    generated_text += new_text
    print(new_text, flush=True, end='')

サンプルレスポンス The modality is Magnetic Resonance Imaging (MRI), the organ being analyzed is the cervical spine, and there are no abnormalities present in the image.

想定される用途と制限

Bio-Medical-MultiModal-Llama-3-8B-V1は、バイオメディカル分野の幅広いアプリケーションを想定しています。

1. 研究支援：研究者が文献レビューやバイオメディカルテキストからのデータ抽出を行う際の支援。
2. 臨床判断支援：臨床判断プロセスをサポートする情報を提供。
3. 教育ツール：医学系の学生や専門家が知識を拡充するためのリソースとして利用。

制限事項と倫理的考慮事項

Bio-Medical-MultiModal-Llama-3-8B-V1は、様々なバイオメディカルNLPタスクで良好な性能を発揮しますが、ユーザーは以下の制限事項に注意する必要があります。

1. バイアス：モデルは学習データに含まれるバイアスを引き継ぐ可能性があります。バランスの取れたデータセットを作成するための努力が行われていますが、一部のバイアスが残る可能性があります。
2. 精度：モデルの応答は、見たデータのパターンに基づいており、必ずしも正確または最新の情報であるとは限りません。ユーザーは重要な情報を信頼できるソースから検証する必要があります。
3. 倫理的な使用：モデルは、特に利害関係の高い臨床設定では、責任を持って使用する必要があります。専門的な判断や専門知識を補完するものであり、代替するものではありません。

学習と評価

Bio-Medical-MultiModal-Llama-3-8B-V1は、NVIDIA H100 GPUを使用して学習されました。これにより、大規模なデータとモデルパラメータを効率的に処理するために必要な計算能力が提供されます。同様のモデルとの性能を比較するために、厳格な評価プロトコルが実施され、実世界のアプリケーションにおける堅牢性と信頼性が保証されています。

このモデルは MiniCPM を使用して学習され、マルチモーダルデータを効率的に処理することができます。MiniCPMにより、視覚情報を処理し、学習する能力が提供されました。

連絡先情報

Biomed-LLMに関する詳細情報、問い合わせ、または問題については、以下に連絡してください。

• メール：info@contactdoctor.in
• ウェブサイト：https://www.contactdoctor.in

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 0.0002
• train_batch_size: 4
• eval_batch_size: 4
• エポック数: 3
• シード: 42
• 勾配蓄積ステップ: 4
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.03
• 混合精度学習: Native AMP

フレームワークバージョン

• PEFT 0.11.0
• Transformers 4.40.2
• Pytorch 2.1.2
• Datasets 2.19.1
• Tokenizers 0.19.1

引用

もしあなたがBio-Medical-MultiModal-Llama-3-8B-V1を研究やアプリケーションで使用する場合は、以下のように引用してください。

@misc{ContactDoctor_MEDLLM,
  author = ContactDoctor,
  title = {Bio-Medical-MultiModal-Llama-3-8B-V1: A High-Performance Biomedical Multimodal LLM},
  year = {2024},
  howpublished = {https://huggingface.co/ContactDoctor/Bio-Medical-MultiModal-Llama-3-8B-V1},
}