Biomistral 7B AWQ QGS128 W4 GEMM

🚀 BioMistral：醫療領域開源預訓練大語言模型集合

BioMistral是一系列基於Mistral進一步預訓練的開源模型，適用於醫療領域。它利用來自PubMed Central的文本數據進行預訓練，在多個醫療問答任務中表現出色，且支持多語言評估。

🚀 快速開始

加載模型和分詞器

你可以使用Hugging Face的Transformers庫來加載BioMistral模型，示例代碼如下：

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

✨ 主要特性

• 醫療領域適配：基於Mistral模型，在PubMed Central上進一步預訓練，更適合醫療領域的應用。
• 多語言支持：對醫療問答基準進行了7種語言的自動翻譯和評估，實現了醫療領域大語言模型的大規模多語言評估。
• 量化和模型融合：探索了通過量化和模型融合方法得到的輕量級模型。
• 性能優越：在多個醫療問答任務中，BioMistral的表現優於現有的開源醫療模型，甚至在某些方面與專有模型具有競爭力。

📦 安裝指南

文檔未提及具體安裝步驟，可參考Hugging Face的Transformers庫的安裝方法。

💻 使用示例

基礎用法

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

📚 詳細文檔

模型信息

BioMistral模型

量化模型

監督微調基準

監督微調（SFT）性能通過準確率（↑）衡量，並在3次隨機種子的3次射擊中取平均值。DARE、TIES和SLERP是將BioMistral 7B和Mistral 7B Instruct進行模型融合的策略。最佳模型用粗體表示，第二佳模型用下劃線表示。*GPT-3.5 Turbo的性能是在沒有SFT的3次射擊結果中報告的。

🔧 技術細節

BioMistral以Mistral為基礎模型，在PubMed Central上進行進一步預訓練。在實驗過程中，探索了量化和模型融合方法，以獲得輕量級模型。同時，為了評估醫療大語言模型的多語言泛化能力，將醫療問答基準自動翻譯成7種語言並進行評估。

📄 許可證

本項目採用Apache-2.0許可證。

引用BibTeX

Arxiv : https://arxiv.org/abs/2402.10373

@misc{labrak2024biomistral,
      title={BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains}, 
      author={Yanis Labrak and Adrien Bazoge and Emmanuel Morin and Pierre-Antoine Gourraud and Mickael Rouvier and Richard Dufour},
      year={2024},
      eprint={2402.10373},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

⚠️ 重要提示

雖然BioMistral旨在封裝來自高質量證據的醫學知識，但它尚未針對在專業行動參數內有效、安全或適當地傳達這些知識進行優化。除非BioMistral經過與特定用例的徹底對齊並進行進一步測試，特別是包括在現實世界醫療環境中的隨機對照試驗，否則我們建議不要在醫療環境中使用它。BioMistral 7B可能存在尚未徹底評估的固有風險和偏差，並且該模型的性能尚未在現實世界的臨床環境中進行評估。因此，我們建議僅將BioMistral 7B用作研究工具，並建議不要將其部署在生產環境中用於自然語言生成或任何專業健康和醫療目的。

💡 使用建議

建議將BioMistral 7B嚴格作為研究工具使用，避免在醫療環境中直接應用，除非經過充分的測試和驗證。在使用過程中，要注意模型可能存在的風險和偏差。