Biomistral 7B SLERP

🚀 BioMistral-7B-slerp

BioMistral-7B-slerp 是一個使用 mergekit 合併預訓練語言模型得到的模型。它結合了多個優秀模型的特性，在醫療和生物領域具有潛在的應用價值。

🚀 快速開始

你可以使用 Hugging Face 的 Transformers 庫 來使用 BioMistral，以下是加載模型和分詞器的示例代碼：

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

✨ 主要特性

模型合併特性

• 合併方法：此模型使用 SLERP 合併方法進行合併，這種方法有助於融合不同模型的優勢。
• 合併模型：合併了 BioMistral/BioMistral-7B 和 mistralai/Mistral-7B-Instruct-v0.1 兩個模型。

多語言支持

支持法語（fr）、英語（en）、西班牙語（es）、意大利語（it）、波蘭語（pl）、荷蘭語（nl）和德語（de）等多種語言。

多領域應用

適用於醫療和生物領域，在醫學問答等任務上表現出色。

📚 詳細文檔

合併詳情

合併方法

該模型採用 SLERP 合併方法進行合併。

合併的模型

以下模型參與了合併：

• BioMistral/BioMistral-7B
• mistralai/Mistral-7B-Instruct-v0.1

配置

以下 YAML 配置用於生成此模型：

slices:
  - sources:
      - model: mistralai/Mistral-7B-Instruct-v0.1
        layer_range: [0, 32]
      - model: BioMistral/BioMistral-7B
        layer_range: [0, 32]
merge_method: slerp
base_model: mistralai/Mistral-7B-Instruct-v0.1
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: bfloat16

BioMistral 模型

BioMistral 是一套基於 Mistral 進一步預訓練的開源模型，適用於醫療領域，使用來自 PubMed Central Open Access（CC0、CC BY、CC BY - SA 和 CC BY - ND）的文本數據進行預訓練。所有模型均使用法國國家科學研究中心（CNRS）的 Jean Zay 法國高性能計算機進行訓練。

量化模型

監督微調基準測試

BioMistral 7B 模型與基線模型的監督微調（SFT）性能對比，通過準確率（↑）衡量，並在 3 次隨機種子的 3 - shot 實驗中取平均值。DARE、TIES 和 SLERP 是合併 BioMistral 7B 和 Mistral 7B Instruct 的模型合併策略。最佳模型用粗體表示，第二佳模型用下劃線表示。*GPT - 3.5 Turbo 的性能是在未進行 SFT 的 3 - shot 結果中報告的。

引用信息

Arxiv 鏈接：https://arxiv.org/abs/2402.10373

@misc{labrak2024biomistral,
      title={BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains}, 
      author={Yanis Labrak and Adrien Bazoge and Emmanuel Morin and Pierre-Antoine Gourraud and Mickael Rouvier and Richard Dufour},
      year={2024},
      eprint={2402.10373},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

🔧 技術細節

BioMistral 是一個為生物醫學領域量身定製的開源大語言模型，以 Mistral 為基礎模型，並在 PubMed Central 上進行了進一步預訓練。該研究對 BioMistral 在包含 10 個已建立的英語醫學問答（QA）任務的基準測試中進行了全面評估，還探索了通過量化和模型合併方法獲得的輕量級模型。研究結果表明，BioMistral 與現有的開源醫學模型相比具有更優越的性能，並且與專有模型相比也具有競爭力。此外，為了解決英語以外數據有限的問題，並評估醫學大語言模型的多語言泛化能力，研究團隊自動將該基準測試翻譯成 7 種其他語言並進行了評估，這標誌著醫學領域大語言模型的首次大規模多語言評估。

📄 許可證

本項目採用 Apache - 2.0 許可證。

⚠️ 重要提示

• 儘管 BioMistral 旨在封裝來自高質量證據的醫學知識，但它尚未針對在專業行動參數內有效、安全或適當地傳達這些知識進行定製。建議在 BioMistral 與特定用例進行全面對齊並經過進一步測試（特別是包括在現實世界醫療環境中的隨機對照試驗）之前，不要在醫療環境中使用它。
• BioMistral 7B 可能存在尚未徹底評估的固有風險和偏差。此外，該模型的性能尚未在現實世界的臨床環境中進行評估。因此，建議僅將 BioMistral 7B 用作研究工具，並避免將其部署在生產環境中用於自然語言生成或任何專業健康和醫療目的。
• 直接和下游用戶都需要了解模型固有的風險、偏差和限制。雖然該模型可以生成自然語言文本，但對其能力和限制的探索才剛剛開始。在醫學等領域，理解這些限制至關重要。因此，強烈建議不要將此模型用於生產環境中的自然語言生成或健康和醫學領域的專業任務。