YM 12B Model Stock

🚀 預訓練語言模型合併項目

本項目利用模型合併技術，將多個預訓練語言模型進行合併，以創造出性能更優、功能更豐富的語言模型。通過合併不同的模型，能夠綜合各模型的優勢，為自然語言處理任務提供更強大的支持。

🚀 快速開始

本項目使用 mergekit 工具進行預訓練語言模型的合併。以下是項目的相關信息：

✨ 主要特性

這是一個使用 mergekit 創建的預訓練語言模型合併項目。

📚 詳細文檔

合併詳情

合併方法

本模型使用 Model Stock 合併方法，以 yamatazen/EtherealAurora-12B-v2 為基礎進行合併。

合併的模型

以下模型參與了合併：

• LatitudeGames/Wayfarer-12B
• TheDrummer/Rocinante-12B-v1.1
• nbeerbower/Lyra4-Gutenberg-12B
• MarinaraSpaghetti/NemoMix-Unleashed-12B
• cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b
• nothingiisreal/MN-12B-Celeste-V1.9
• anthracite-org/magnum-v2-12b

配置

以下是用於生成此模型的 YAML 配置：

models:
  - model: LatitudeGames/Wayfarer-12B
  - model: MarinaraSpaghetti/NemoMix-Unleashed-12B
  - model: nothingiisreal/MN-12B-Celeste-V1.9
  - model: TheDrummer/Rocinante-12B-v1.1
  - model: anthracite-org/magnum-v2-12b
  - model: nbeerbower/Lyra4-Gutenberg-12B
  - model: cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b
merge_method: model_stock
base_model: yamatazen/EtherealAurora-12B-v2
normalize: false
int8_mask: true
dtype: bfloat16