Biomistral 7B

🚀 BioMistral：适用于医学领域的开源预训练大语言模型集合

BioMistral是一系列专为医学领域打造的开源预训练大语言模型，以Mistral为基础模型，并在PubMed Central上进一步预训练。它在医学问答任务中表现出色，且支持多语言，为医学研究和应用提供了强大的工具。

🚀 快速开始

你可以使用Hugging Face的Transformers库来加载和使用BioMistral模型，具体代码如下：

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

✨ 主要特性

• 医学领域适配：基于Mistral模型，在PubMed Central上进一步预训练，更贴合医学领域需求。
• 多语言支持：支持法语、英语、德语、荷兰语、西班牙语、葡萄牙语、波兰语、罗马尼亚语和意大利语等多种语言。
• 模型多样：提供多种模型变体，包括不同的合并策略和量化模型，满足不同场景需求。
• 性能优越：在多个医学问答基准测试中表现出色，优于现有开源医学模型，与专有模型具有竞争力。

📦 BioMistral模型

BioMistral是一套基于Mistral的进一步预训练的开源模型，适用于医学领域，使用来自PubMed Central Open Access（CC0、CC BY、CC BY - SA和CC BY - ND）的文本数据进行预训练。所有模型均使用法国国家科学研究中心（CNRS）的Jean Zay法国高性能计算机进行训练。

📦 量化模型

💻 使用示例

基础用法

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

📚 监督微调基准测试

BioMistral 7B模型与基线模型的监督微调（SFT）性能对比，通过准确率（↑）衡量，并在3次随机种子的3 - shot中取平均值。DARE、TIES和SLERP是将BioMistral 7B和Mistral 7B Instruct合并的模型合并策略。最佳模型用粗体表示，次佳模型用下划线表示。*GPT - 3.5 Turbo的性能报告来自未进行SFT的3 - shot结果。

📄 许可证

本项目采用Apache - 2.0许可证。

📖 引用

Arxiv : https://arxiv.org/abs/2402.10373

@misc{labrak2024biomistral,
      title={BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains}, 
      author={Yanis Labrak and Adrien Bazoge and Emmanuel Morin and Pierre-Antoine Gourraud and Mickael Rouvier and Richard Dufour},
      year={2024},
      eprint={2402.10373},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

⚠️ 重要提示

尽管BioMistral旨在封装来自高质量证据的医学知识，但它尚未针对在专业行动参数内有效、安全或适当地传达这些知识进行定制。我们建议在BioMistral未与特定用例进行全面对齐并经过进一步测试（特别是包括在现实世界医疗环境中的随机对照试验）之前，不要在医疗环境中使用它。BioMistral 7B可能存在尚未彻底评估的固有风险和偏差。此外，该模型的性能尚未在现实世界的临床环境中进行评估。因此，我们建议仅将BioMistral 7B用作研究工具，并建议不要将其部署在生产环境中用于自然语言生成或任何专业健康和医疗目的。