Biomistral 7B AWQ QGS128 W4 GEMM

🚀 BioMistral：医疗领域开源预训练大语言模型集合

BioMistral是一系列基于Mistral进一步预训练的开源模型，适用于医疗领域。它利用来自PubMed Central的文本数据进行预训练，在多个医疗问答任务中表现出色，且支持多语言评估。

🚀 快速开始

加载模型和分词器

你可以使用Hugging Face的Transformers库来加载BioMistral模型，示例代码如下：

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

✨ 主要特性

• 医疗领域适配：基于Mistral模型，在PubMed Central上进一步预训练，更适合医疗领域的应用。
• 多语言支持：对医疗问答基准进行了7种语言的自动翻译和评估，实现了医疗领域大语言模型的大规模多语言评估。
• 量化和模型融合：探索了通过量化和模型融合方法得到的轻量级模型。
• 性能优越：在多个医疗问答任务中，BioMistral的表现优于现有的开源医疗模型，甚至在某些方面与专有模型具有竞争力。

📦 安装指南

文档未提及具体安装步骤，可参考Hugging Face的Transformers库的安装方法。

💻 使用示例

基础用法

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

📚 详细文档

模型信息

BioMistral模型

量化模型

监督微调基准

监督微调（SFT）性能通过准确率（↑）衡量，并在3次随机种子的3次射击中取平均值。DARE、TIES和SLERP是将BioMistral 7B和Mistral 7B Instruct进行模型融合的策略。最佳模型用粗体表示，第二佳模型用下划线表示。*GPT-3.5 Turbo的性能是在没有SFT的3次射击结果中报告的。

🔧 技术细节

BioMistral以Mistral为基础模型，在PubMed Central上进行进一步预训练。在实验过程中，探索了量化和模型融合方法，以获得轻量级模型。同时，为了评估医疗大语言模型的多语言泛化能力，将医疗问答基准自动翻译成7种语言并进行评估。

📄 许可证

本项目采用Apache-2.0许可证。

引用BibTeX

Arxiv : https://arxiv.org/abs/2402.10373

@misc{labrak2024biomistral,
      title={BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains}, 
      author={Yanis Labrak and Adrien Bazoge and Emmanuel Morin and Pierre-Antoine Gourraud and Mickael Rouvier and Richard Dufour},
      year={2024},
      eprint={2402.10373},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

⚠️ 重要提示

虽然BioMistral旨在封装来自高质量证据的医学知识，但它尚未针对在专业行动参数内有效、安全或适当地传达这些知识进行优化。除非BioMistral经过与特定用例的彻底对齐并进行进一步测试，特别是包括在现实世界医疗环境中的随机对照试验，否则我们建议不要在医疗环境中使用它。BioMistral 7B可能存在尚未彻底评估的固有风险和偏差，并且该模型的性能尚未在现实世界的临床环境中进行评估。因此，我们建议仅将BioMistral 7B用作研究工具，并建议不要将其部署在生产环境中用于自然语言生成或任何专业健康和医疗目的。

💡 使用建议

建议将BioMistral 7B严格作为研究工具使用，避免在医疗环境中直接应用，除非经过充分的测试和验证。在使用过程中，要注意模型可能存在的风险和偏差。