Llama 3.1 8b Dolermed R1 V1.01

🚀 預訓練語言模型合併項目

本項目通過合併多個預訓練語言模型，旨在打造一個性能更優、功能更豐富的語言模型。藉助 mergekit 工具，我們能夠高效地完成模型合併操作，為自然語言處理任務提供更強大的支持。

🚀 快速開始

本項目是使用 mergekit 創建的預訓練語言模型合併項目。

✨ 主要特性

• 多模型融合：整合多個優秀的預訓練語言模型，汲取各模型的優勢，提升整體性能。
• 先進合併方法：採用 Model Stock 合併方法，確保模型合併的科學性和有效性。

📚 詳細文檔

合併詳情

合併方法

本模型以 huihui-ai/Dolphin3.0-Llama3.1-8B-abliterated 為基礎，使用 Model Stock 合併方法進行合併。

參與合併的模型

以下模型參與了合併：

• meditsolutions/Llama-3.1-MedIT-SUN-8B
• NousResearch/DeepHermes-3-Llama-3-8B-Preview

配置信息

以下是用於生成此模型的 YAML 配置：

merge_method: model_stock
models:
  - model: NousResearch/DeepHermes-3-Llama-3-8B-Preview
    parameters:
      weight: 1.0
  - model: meditsolutions/Llama-3.1-MedIT-SUN-8B
    parameters:
      weight: 1.0
base_model: huihui-ai/Dolphin3.0-Llama3.1-8B-abliterated
dtype: bfloat16
normalize: true
chat_template: auto
tokenizer:
  source: union

📄 許可證

本項目使用的許可證為 llama3.1。