Llama3 OpenBioLLM 70B

🚀 OpenBioLLM-70B：推动医疗领域开源大语言模型发展

OpenBioLLM-70B是一款专门为生物医学领域设计的先进开源语言模型。由Saama AI Labs开发，该模型运用前沿技术，在众多生物医学任务中取得了卓越的性能。

🚀 快速开始

你可以通过以下链接体验在线演示、访问项目的GitHub仓库、查看相关论文以及加入Discord社区进行交流：

在线演示 | GitHub | 论文 | Discord

✨ 主要特性

• 🏥 生物医学专业化：OpenBioLLM-70B针对医学和生命科学领域独特的语言和知识需求进行了定制。它在大量高质量的生物医学数据上进行了微调，能够准确、流畅地理解和生成特定领域的文本。
• 🎓 卓越性能：拥有700亿参数的OpenBioLLM-70B在性能上超越了其他同规模的开源生物医学语言模型。与GPT - 4、Gemini、Meditron - 70B、Med - PaLM - 1和Med - PaLM - 2等更大的专有和开源模型相比，它在生物医学基准测试中也取得了更好的成绩。
• 🧠 先进的训练技术：OpenBioLLM-70B基于强大的Meta - Llama - 3 - 70B - Instruct和[Meta - Llama - 3 - 70B - Instruct](meta - llama/Meta - Llama - 3 - 70B - Instruct)模型构建。它结合了DPO数据集和微调方法，以及自定义的多样化医学指令数据集。训练流程的关键组成部分包括：
  • 策略优化：直接偏好优化：你的语言模型其实是一个奖励模型（DPO）
  • 微调数据集：自定义医学指令数据集（我们计划在即将发表的论文中发布一个示例训练数据集，请持续关注）

📦 安装指南

文档未提及具体安装步骤，暂不提供相关内容。

💻 使用示例

基础用法

使用Transformers库调用模型的示例代码如下：

import transformers
import torch

model_id = "aaditya/OpenBioLLM-Llama3-70B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="auto",
)

messages = [
    {"role": "system", "content": "You are an expert and experienced from the healthcare and biomedical domain with extensive medical knowledge and practical experience. Your name is OpenBioLLM, and you were developed by Saama AI Labs. who's willing to help answer the user's query with explanation. In your explanation, leverage your deep medical expertise such as relevant anatomical structures, physiological processes, diagnostic criteria, treatment guidelines, or other pertinent medical concepts. Use precise medical terminology while still aiming to make the explanation clear and accessible to a general audience."},
    {"role": "user", "content": "How can i split a 3mg or 4mg waefin pill so i can get a 2.5mg pill?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.0,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

📚 详细文档

模型信息

训练过程

训练超参数

Peft超参数

训练结果

• 框架版本：
  • Transformers 4.39.3
  • Pytorch 2.1.2+cu121
  • Datasets 2.18.0
  • Tokenizers 0.15.1
  • Axolotl
  • Lm harness for evaluation

🔧 技术细节

OpenBioLLM-70B在9个不同的生物医学数据集上进行了基准测试，与GPT - 4、Gemini、Meditron - 70B、Med - PaLM - 1和Med - PaLM - 2等模型相比，尽管参数数量显著减少，但仍取得了平均86.06%的最先进成绩。该模型在临床知识图谱、医学遗传学和PubMedQA等特定领域任务中的出色表现，凸显了其有效捕捉和应用生物医学知识的能力。

📄 许可证

该模型遵循Meta - Llama许可证。

使用案例与示例

总结临床笔记

OpenBioLLM-70B可以高效地分析和总结复杂的临床笔记、电子健康记录（EHR）数据和出院小结，提取关键信息并生成简洁、结构化的摘要。

回答医学问题

OpenBioLLM-70B可以回答广泛的医学问题。

临床实体识别

OpenBioLLM-70B可以通过识别和提取非结构化临床文本中的关键医学概念（如疾病、症状、药物、程序和解剖结构）来执行高级临床实体识别。凭借其对医学术语和上下文的深入理解，该模型可以准确地注释和分类临床实体，从而实现从电子健康记录、研究文章和其他生物医学文本来源中更高效的信息检索、数据分析和知识发现。这一功能可以支持各种下游应用，如临床决策支持、药物警戒和医学研究。

生物标志物提取

分类

OpenBioLLM-70B可以执行各种生物医学分类任务，如疾病预测、情感分析和医学文档分类。

去识别化

OpenBioLLM-70B可以检测并从医疗记录中删除个人身份信息（PII），确保患者隐私并符合HIPAA等数据保护法规。

⚠️ 重要提示

虽然OpenBioLLM-70B利用了高质量的数据源，但其输出仍可能包含不准确、有偏差或不一致的内容，如果在未经进一步测试和改进的情况下依赖这些输出进行医疗决策，可能会带来风险。该模型的性能尚未在随机对照试验或现实世界的医疗环境中进行严格评估。

因此，我们强烈建议目前不要将OpenBioLLM-70B用于任何直接的患者护理、临床决策支持或其他专业医疗目的。其使用应仅限于有资质的个人进行研究、开发和探索性应用，这些人应了解其局限性。OpenBioLLM-70B仅旨在作为辅助医疗专业人员的研究工具，绝不能替代合格医生的专业判断和专业知识。

要使OpenBioLLM-70B适用于特定的医疗用例，需要进行大量的额外工作，可能包括：

• 在相关临床场景中进行全面的测试和评估
• 与循证指南和最佳实践保持一致
• 减轻潜在的偏差和失败模式
• 结合人工监督和解释
• 遵守监管和道德标准

请始终咨询合格的医疗服务提供者以满足个人医疗需求。

引用

如果您在工作中发现OpenBioLLM-70B和8B很有用，请按以下方式引用该模型：

@misc{OpenBioLLMs,
  author = {Ankit Pal, Malaikannan Sankarasubbu},
  title = {OpenBioLLMs: Advancing Open - Source Large Language Models for Healthcare and Life Sciences},
  year = {2024},
  publisher = {Hugging Face},
  journal = {Hugging Face repository},
  howpublished = {\url{https://huggingface.co/aaditya/OpenBioLLM-Llama3-70B}}
}

相关论文正在撰写中，即将发布。

💌 联系我们

我们期待与您交流并在这个令人兴奋的项目上进行合作！

贡献者：

• Ankit Pal (Aaditya Ura) [aadityaura at gmail dot com]
• Saama AI Labs

参考资料

我们感谢[Meta团队](meta - llama/Meta - Llama - 3 - 70B - Instruct)提供的出色模型！

结果来源：

• [1] GPT - 4 Capabilities of GPT - 4 on Medical Challenge Problems
• [2] Med - PaLM - 1 Large Language Models Encode Clinical Knowledge
• [3] Med - PaLM - 2 Towards Expert - Level Medical Question Answering with Large Language Models
• [4] Gemini - 1.0 Gemini Goes to Med School