Biomistral 7B GGUF

🚀 BioMistral：醫療領域的開源預訓練大語言模型集合

BioMistral是一系列專為醫療領域打造的開源預訓練大語言模型，以Mistral為基礎模型，並在PubMed Central上進一步預訓練。它在醫學問答任務中表現卓越，超越了現有的開源醫療模型，且在多語言評估方面也有出色表現。不過，該模型目前僅建議作為研究工具使用，不適合用於實際生產環境。

🚀 快速開始

加載模型和分詞器

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

✨ 主要特性

• 醫療領域定製：以Mistral為基礎，在PubMed Central上進一步預訓練，專為生物醫學領域量身打造。
• 多語言支持：支持法語、英語、德語、荷蘭語、西班牙語、葡萄牙語、波蘭語、羅馬尼亞語和意大利語等多種語言。
• 性能卓越：在10個已建立的醫學問答任務基準測試中，表現優於現有的開源醫療模型，與專有模型相比也具有競爭力。
• 量化模型可選：提供多種量化模型，可根據不同的顯存需求和性能要求進行選擇。

📦 模型信息

BioMistral模型

量化模型

💻 使用示例

基礎用法

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

📚 詳細文檔

監督微調基準測試

BioMistral 7B模型與基線模型的監督微調（SFT）性能對比，通過準確率（↑）衡量，並在3次隨機種子的3次射擊中取平均值。DARE、TIES和SLERP是將BioMistral 7B和Mistral 7B Instruct合併的模型合併策略。最佳模型用粗體表示，第二佳模型用下劃線表示。*GPT - 3.5 Turbo的性能報告來自未進行SFT的3次射擊結果。

🔧 技術細節

BioMistral以Mistral為基礎模型，在PubMed Central上進行進一步預訓練。在實驗過程中，對BioMistral在包含10個已建立的醫學問答任務的基準測試中進行了全面評估。同時，探索了通過量化和模型合併方法獲得的輕量級模型。為了評估醫學大語言模型的多語言泛化能力，還將該基準測試自動翻譯成7種其他語言並進行評估，這是醫學領域大語言模型的首次大規模多語言評估。

📄 許可證

本項目採用Apache - 2.0許可證。

⚠️ 重要提示

儘管BioMistral旨在封裝來自高質量證據的醫學知識，但它尚未針對在專業行動參數內有效、安全或適當地傳達這些知識進行定製。建議在BioMistral未與特定用例進行徹底對齊並經過進一步測試（特別是包括在現實世界醫學環境中的隨機對照試驗）之前，不要在醫學環境中使用它。BioMistral 7B可能存在尚未徹底評估的固有風險和偏差，並且該模型的性能尚未在現實世界的臨床環境中進行評估。因此，建議僅將BioMistral 7B作為研究工具使用，避免將其部署在生產環境中用於自然語言生成或任何專業健康和醫學目的。

📖 引用信息

Arxiv : https://arxiv.org/abs/2402.10373

@misc{labrak2024biomistral,
      title={BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains}, 
      author={Yanis Labrak and Adrien Bazoge and Emmanuel Morin and Pierre-Antoine Gourraud and Mickael Rouvier and Richard Dufour},
      year={2024},
      eprint={2402.10373},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}