Llama3 OpenBioLLM 70B

🚀 OpenBioLLM-70B：推動醫療領域開源大語言模型發展

OpenBioLLM-70B是一款專門為生物醫學領域設計的先進開源語言模型。由Saama AI Labs開發，該模型運用前沿技術，在眾多生物醫學任務中取得了卓越的性能。

🚀 快速開始

你可以通過以下鏈接體驗在線演示、訪問項目的GitHub倉庫、查看相關論文以及加入Discord社區進行交流：

在線演示 | GitHub | 論文 | Discord

✨ 主要特性

• 🏥 生物醫學專業化：OpenBioLLM-70B針對醫學和生命科學領域獨特的語言和知識需求進行了定製。它在大量高質量的生物醫學數據上進行了微調，能夠準確、流暢地理解和生成特定領域的文本。
• 🎓 卓越性能：擁有700億參數的OpenBioLLM-70B在性能上超越了其他同規模的開源生物醫學語言模型。與GPT - 4、Gemini、Meditron - 70B、Med - PaLM - 1和Med - PaLM - 2等更大的專有和開源模型相比，它在生物醫學基準測試中也取得了更好的成績。
• 🧠 先進的訓練技術：OpenBioLLM-70B基於強大的Meta - Llama - 3 - 70B - Instruct和[Meta - Llama - 3 - 70B - Instruct](meta - llama/Meta - Llama - 3 - 70B - Instruct)模型構建。它結合了DPO數據集和微調方法，以及自定義的多樣化醫學指令數據集。訓練流程的關鍵組成部分包括：
  • 策略優化：直接偏好優化：你的語言模型其實是一個獎勵模型（DPO）
  • 微調數據集：自定義醫學指令數據集（我們計劃在即將發表的論文中發佈一個示例訓練數據集，請持續關注）

📦 安裝指南

文檔未提及具體安裝步驟，暫不提供相關內容。

💻 使用示例

基礎用法

使用Transformers庫調用模型的示例代碼如下：

import transformers
import torch

model_id = "aaditya/OpenBioLLM-Llama3-70B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="auto",
)

messages = [
    {"role": "system", "content": "You are an expert and experienced from the healthcare and biomedical domain with extensive medical knowledge and practical experience. Your name is OpenBioLLM, and you were developed by Saama AI Labs. who's willing to help answer the user's query with explanation. In your explanation, leverage your deep medical expertise such as relevant anatomical structures, physiological processes, diagnostic criteria, treatment guidelines, or other pertinent medical concepts. Use precise medical terminology while still aiming to make the explanation clear and accessible to a general audience."},
    {"role": "user", "content": "How can i split a 3mg or 4mg waefin pill so i can get a 2.5mg pill?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.0,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

📚 詳細文檔

模型信息

訓練過程

訓練超參數

Peft超參數

訓練結果

• 框架版本：
  • Transformers 4.39.3
  • Pytorch 2.1.2+cu121
  • Datasets 2.18.0
  • Tokenizers 0.15.1
  • Axolotl
  • Lm harness for evaluation

🔧 技術細節

OpenBioLLM-70B在9個不同的生物醫學數據集上進行了基準測試，與GPT - 4、Gemini、Meditron - 70B、Med - PaLM - 1和Med - PaLM - 2等模型相比，儘管參數數量顯著減少，但仍取得了平均86.06%的最先進成績。該模型在臨床知識圖譜、醫學遺傳學和PubMedQA等特定領域任務中的出色表現，凸顯了其有效捕捉和應用生物醫學知識的能力。

📄 許可證

該模型遵循Meta - Llama許可證。

使用案例與示例

總結臨床筆記

OpenBioLLM-70B可以高效地分析和總結複雜的臨床筆記、電子健康記錄（EHR）數據和出院小結，提取關鍵信息並生成簡潔、結構化的摘要。

回答醫學問題

OpenBioLLM-70B可以回答廣泛的醫學問題。

臨床實體識別

OpenBioLLM-70B可以通過識別和提取非結構化臨床文本中的關鍵醫學概念（如疾病、症狀、藥物、程序和解剖結構）來執行高級臨床實體識別。憑藉其對醫學術語和上下文的深入理解，該模型可以準確地註釋和分類臨床實體，從而實現從電子健康記錄、研究文章和其他生物醫學文本來源中更高效的信息檢索、數據分析和知識發現。這一功能可以支持各種下游應用，如臨床決策支持、藥物警戒和醫學研究。

生物標誌物提取

分類

OpenBioLLM-70B可以執行各種生物醫學分類任務，如疾病預測、情感分析和醫學文檔分類。

去識別化

OpenBioLLM-70B可以檢測並從醫療記錄中刪除個人身份信息（PII），確保患者隱私並符合HIPAA等數據保護法規。

⚠️ 重要提示

雖然OpenBioLLM-70B利用了高質量的數據源，但其輸出仍可能包含不準確、有偏差或不一致的內容，如果在未經進一步測試和改進的情況下依賴這些輸出進行醫療決策，可能會帶來風險。該模型的性能尚未在隨機對照試驗或現實世界的醫療環境中進行嚴格評估。

因此，我們強烈建議目前不要將OpenBioLLM-70B用於任何直接的患者護理、臨床決策支持或其他專業醫療目的。其使用應僅限於有資質的個人進行研究、開發和探索性應用，這些人應瞭解其侷限性。OpenBioLLM-70B僅旨在作為輔助醫療專業人員的研究工具，絕不能替代合格醫生的專業判斷和專業知識。

要使OpenBioLLM-70B適用於特定的醫療用例，需要進行大量的額外工作，可能包括：

• 在相關臨床場景中進行全面的測試和評估
• 與循證指南和最佳實踐保持一致
• 減輕潛在的偏差和失敗模式
• 結合人工監督和解釋
• 遵守監管和道德標準

請始終諮詢合格的醫療服務提供者以滿足個人醫療需求。

引用

如果您在工作中發現OpenBioLLM-70B和8B很有用，請按以下方式引用該模型：

@misc{OpenBioLLMs,
  author = {Ankit Pal, Malaikannan Sankarasubbu},
  title = {OpenBioLLMs: Advancing Open - Source Large Language Models for Healthcare and Life Sciences},
  year = {2024},
  publisher = {Hugging Face},
  journal = {Hugging Face repository},
  howpublished = {\url{https://huggingface.co/aaditya/OpenBioLLM-Llama3-70B}}
}

相關論文正在撰寫中，即將發佈。

💌 聯繫我們

我們期待與您交流並在這個令人興奮的項目上進行合作！

貢獻者：

• Ankit Pal (Aaditya Ura) [aadityaura at gmail dot com]
• Saama AI Labs

參考資料

我們感謝[Meta團隊](meta - llama/Meta - Llama - 3 - 70B - Instruct)提供的出色模型！

結果來源：

• [1] GPT - 4 Capabilities of GPT - 4 on Medical Challenge Problems
• [2] Med - PaLM - 1 Large Language Models Encode Clinical Knowledge
• [3] Med - PaLM - 2 Towards Expert - Level Medical Question Answering with Large Language Models
• [4] Gemini - 1.0 Gemini Goes to Med School