Biomistral 7B DARE AWQ QGS128 W4 GEMM

🚀 BioMistral：用于医学领域的开源预训练大语言模型集合

BioMistral是一系列专为医学领域打造的开源预训练大语言模型，以Mistral为基础模型，并在PubMed Central上进行了进一步预训练。它在多个医学问答任务中表现出色，优于现有的开源医学模型，甚至在与专有模型的竞争中也不落下风。

🚀 快速开始

你可以使用Hugging Face的Transformers库来使用BioMistral，以下是加载模型和分词器的示例代码：

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

✨ 主要特性

• 专为医学领域定制：基于Mistral模型，在PubMed Central的文本数据上进一步预训练，更适应医学领域的专业需求。
• 多语言评估：对基准测试进行了7种语言的自动翻译和评估，实现了医学领域大语言模型的首次大规模多语言评估。
• 多种模型变体：提供了不同合并策略的模型，如DARE、TIES和SLERP，以及量化模型，满足不同场景的需求。

📦 安装指南

文档未提及具体安装步骤，可参考Hugging Face的Transformers库的安装方法。

💻 使用示例

基础用法

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

📚 详细文档

BioMistral模型

BioMistral是一套基于Mistral的进一步预训练的开源模型，适用于医学领域，使用了来自PubMed Central Open Access（CC0、CC BY、CC BY - SA和CC BY - ND）的文本数据进行预训练。所有模型均使用法国国家科学研究中心（CNRS）的Jean Zay法国高性能计算机进行训练。

具体模型信息如下：

量化模型

监督微调基准测试

BioMistral 7B模型与基线模型的监督微调（SFT）性能对比，通过准确率（↑）衡量，并在3次3 - shot随机种子上取平均值。DARE、TIES和SLERP是结合BioMistral 7B和Mistral 7B Instruct的模型合并策略。最佳模型用粗体表示，第二佳模型用下划线表示。*GPT - 3.5 Turbo的性能报告来自未进行SFT的3 - shot结果。

🔧 技术细节

文档未提供详细的技术实现细节。

📄 许可证

文档未提及许可证信息。

引用信息

Arxiv链接：https://arxiv.org/abs/2402.10373

@misc{labrak2024biomistral,
      title={BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains}, 
      author={Yanis Labrak and Adrien Bazoge and Emmanuel Morin and Pierre-Antoine Gourraud and Mickael Rouvier and Richard Dufour},
      year={2024},
      eprint={2402.10373},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

重要提示

⚠️ 重要提示

尽管BioMistral旨在封装来自高质量证据的医学知识，但它尚未针对在专业参数范围内有效、安全或适当地传达这些知识进行定制。除非经过与特定用例的彻底对齐和进一步测试，特别是包括在现实世界医学环境中的随机对照试验，否则我们建议不要在医学环境中使用BioMistral。BioMistral 7B可能存在尚未彻底评估的固有风险和偏差。此外，该模型的性能尚未在现实世界的临床环境中进行评估。因此，我们建议仅将BioMistral 7B作为研究工具使用，并建议不要将其部署在生产环境中用于自然语言生成或任何专业健康和医学目的。

💡 使用建议

由于模型存在风险和偏差，且未在临床环境中评估，建议仅将其作为研究工具，避免用于生产环境和专业医疗用途。