Bio Medical MultiModal Llama 3 8B V1

🚀 生物醫學多模態Llama-3-8B-V1

本模型是一個專門為生物醫學應用設計的多模態大語言模型。它基於Meta-Llama-3-8B-Instruct進行微調，使用了定製的生物醫學文本和圖像數據集，能理解和生成與生物醫學領域相關的文本，為該領域的研究人員、臨床醫生等專業人士提供了有力的工具。

✨ 主要特性

• 基於Meta-Llama-3-8B-Instruct模型進行微調，在生物醫學領域具有更強的專業性。
• 使用定製的高質量生物醫學文本和圖像數據集進行訓練，數據集中包含超過500,000個多樣化的條目，涵蓋了合成和人工策劃的數據，確保了對生物醫學知識的廣泛覆蓋。
• 能夠理解和生成與各種生物醫學領域相關的文本，可應用於研究支持、臨床決策支持和教育等多個方面。

📦 安裝指南

文檔中未提及安裝步驟，暫不提供。

💻 使用示例

基礎用法

import torch
from PIL import Image
from transformers import AutoModel, AutoTokenizer,BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=torch.float16,
)

model = AutoModel.from_pretrained(
    "ContactDoctor/Bio-Medical-MultiModal-Llama-3-8B-V1",
    quantization_config=bnb_config,
    device_map="auto",
    torch_dtype=torch.float16,
    trust_remote_code=True,
    attn_implementation="flash_attention_2",
)

tokenizer = AutoTokenizer.from_pretrained("ContactDoctor/Bio-Medical-MultiModal-Llama-3-8B-V1", trust_remote_code=True)

image = Image.open("Path to Your image").convert('RGB')
question = 'Give the modality, organ, analysis, abnormalities (if any), treatment (if abnormalities are present)?'
msgs = [{'role': 'user', 'content': [image, question]}]

res = model.chat(
    image=image,
    msgs=msgs,
    tokenizer=tokenizer,
    sampling=True,
    temperature=0.95,
    stream=True
)

generated_text = ""
for new_text in res:
    generated_text += new_text
    print(new_text, flush=True, end='')

示例響應

該模態為磁共振成像（MRI），正在分析的器官是頸椎，圖像中未發現異常。

📚 詳細文檔

模型詳情

模型描述

生物醫學多模態Llama-3-8B-V1是專為生物醫學應用設計的專業大語言模型。它是從Llama-3-8B-Instruct模型微調而來，使用了包含超過500,000個不同條目的定製數據集。這些條目包括合成數據和手動策劃數據的混合，確保了生物醫學主題的高質量和廣泛覆蓋。

該模型經過訓練，能夠理解和生成與各種生物醫學領域相關的文本，使其成為生物醫學領域的研究人員、臨床醫生和其他專業人士的寶貴工具。

預期用途與限制

生物醫學多模態Llama-3-8B-V1旨在用於生物醫學領域的廣泛應用，包括：

1. 研究支持：協助研究人員進行文獻綜述和從生物醫學文本中提取數據。
2. 臨床決策支持：提供信息以支持臨床決策過程。
3. 教育工具：作為醫學生和專業人士擴展知識庫的資源。

限制和倫理考慮

雖然生物醫學多模態Llama-3-8B-V1在各種生物醫學自然語言處理任務中表現良好，但用戶應注意以下限制：

⚠️ 重要提示

• 偏差：模型可能繼承訓練數據中存在的偏差。雖然已努力策劃平衡的數據集，但仍可能存在一些偏差。
• 準確性：模型的響應基於其所見數據中的模式，可能並不總是準確或最新的。用戶應從可靠來源驗證關鍵信息。
• 倫理使用：該模型應負責任地使用，特別是在風險較高的臨床環境中。它應補充而不是取代專業判斷和專業知識。

訓練和評估

生物醫學多模態Llama-3-8B-V1使用NVIDIA H100 GPU進行訓練，這為高效處理大規模數據和模型參數提供了必要的計算能力。已經實施了嚴格的評估協議，以將其性能與類似模型進行基準比較，確保其在實際應用中的魯棒性和可靠性。

該模型使用MiniCPM進行訓練，這使我們能夠有效地處理多模態數據。MiniCPM提供了處理和從視覺信息中學習的能力。

聯繫信息

如需瞭解有關生物醫學大語言模型的更多信息、諮詢或反饋問題，請聯繫：

• 電子郵件：info@contactdoctor.in
• 網站：https://www.contactdoctor.in

訓練超參數

訓練期間使用了以下超參數：

• 學習率：0.0002
• 訓練批次大小：4
• 評估批次大小：4
• 訓練輪數：3
• 隨機種子：42
• 梯度累積步數：4
• 優化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 學習率調度器類型：餘弦
• 學習率調度器熱身比例：0.03
• 混合精度訓練：原生自動混合精度（Native AMP）

框架版本

• PEFT 0.11.0
• Transformers 4.40.2
• Pytorch 2.1.2
• Datasets 2.19.1
• Tokenizers 0.19.1

引用

如果您在研究或應用中使用了生物醫學多模態Llama-3-8B-V1，請按以下方式引用：

@misc{ContactDoctor_MEDLLM,
  author = ContactDoctor,
  title = {Bio-Medical-MultiModal-Llama-3-8B-V1: A High-Performance Biomedical Multimodal LLM},
  year = {2024},
  howpublished = {https://huggingface.co/ContactDoctor/Bio-Medical-MultiModal-Llama-3-8B-V1},
}

📄 許可證

該模型遵循生物醫學多模態Llama-3-8B-V1（僅限非商業使用）許可協議。請在使用模型前仔細閱讀許可條款。