Biomistral MedMNX

🚀 BioMistral-MedMNX

這是一個使用mergekit創建的預訓練語言模型融合項目。該項目將不同的預訓練模型進行融合，以獲得更強大的性能，可應用於生物醫學等相關領域的自然語言處理任務。

🚀 快速開始

本項目使用transformers庫，你可以按照以下步驟使用融合後的模型。

✨ 主要特性

• 模型融合：使用特定的融合方法將多個預訓練模型融合在一起。
• 特定方法：採用DARE TIES融合方法。

📚 詳細文檔

🔍 融合詳情

融合方法

本模型以johnsnowlabs/JSL-MedMNX-7B為基礎，使用DARE TIES融合方法進行融合。

參與融合的模型

以下模型參與了融合：

• BioMistral/BioMistral-7B-DARE

配置信息

以下是用於生成此模型的YAML配置：

models:
  - model: johnsnowlabs/JSL-MedMNX-7B
    parameters:
      density: 0.53
      weight: 0.4
  - model: BioMistral/BioMistral-7B-DARE
    parameters:
      density: 0.53
      weight: 0.3

merge_method: dare_ties
tokenizer_source: union
base_model: johnsnowlabs/JSL-MedMNX-7B
parameters:
  int8_mask: true
dtype: bfloat16

📄 許可證

本項目採用CC BY-NC-ND 4.0許可證。