Blabbertron 1.2

🚀 預訓練語言模型合併項目

本項目利用合併工具將多個預訓練語言模型進行合併，旨在結合不同模型的優勢，創造出性能更優的語言模型。

🚀 快速開始

本項目是使用 mergekit 對預訓練語言模型進行合併的成果。

📚 詳細文檔

合併詳情

合併方法

本模型採用 Model Stock 合併方法，以 Qwen/Qwen2.5-7B-Instruct 為基礎模型進行合併。

參與合併的模型

以下模型參與了本次合併：

• gz987/qwen2.5-7b-cabs-v0.3 + bunnycore/Qwen-2.5-7b-s1k-lora_model
• simplescaling/s1.1-7B
• gz987/qwen2.5-7b-cabs-v0.3 + bunnycore/Qwen-2.5-7b-rp-lora
• marcuscedricridia/pre-cursa-o1-v1.2
• Xiaojian9992024/Qwen2.5-Dyanka-7B-Preview
• Krystalan/DRT-7B
• open-r1/OlympicCoder-7B

配置信息

以下是用於生成此模型的 YAML 配置文件：

models:
  - model: Krystalan/DRT-7B
    parameters:
      weight: 0.3
  - model: simplescaling/s1.1-7B
    parameters:
      weight: 0.3
  - model: Krystalan/DRT-7B
    parameters:
      weight: 0.3
  - model: open-r1/OlympicCoder-7B
    parameters:
      weight: 0.3
  - model: marcuscedricridia/pre-cursa-o1-v1.2
    parameters:
      weight: 0.3
  - model: Xiaojian9992024/Qwen2.5-Dyanka-7B-Preview
  - model: gz987/qwen2.5-7b-cabs-v0.3+bunnycore/Qwen-2.5-7b-s1k-lora_model
  - model: gz987/qwen2.5-7b-cabs-v0.3+bunnycore/Qwen-2.5-7b-rp-lora
base_model: Qwen/Qwen2.5-7B-Instruct
merge_method: model_stock
parameters:
dtype: bfloat16
tokenizer_source: Qwen/Qwen2.5-7B-Instruct

📦 模型信息