YM 12B Model Stock

🚀 モデルマージプロジェクト

このプロジェクトは、事前学習済みの言語モデルをマージすることで新しいモデルを作成するものです。マージにはmergekitを使用しています。

🚀 クイックスタート

このモデルは、事前学習済みの言語モデルをマージすることで作成されました。以下に、モデルの基本情報を示します。

✨ 主な機能

このモデルは、複数の事前学習済み言語モデルをマージすることで、新しい特性を持つモデルを作成します。以下の画像は、マージの過程を示しています。

📚 ドキュメント

マージの詳細

マージ方法

このモデルは、Model Stockマージ方法を使用して、yamatazen/EtherealAurora-12B-v2をベースにマージされました。

マージされたモデル

以下のモデルがマージに含まれています。

• LatitudeGames/Wayfarer-12B
• TheDrummer/Rocinante-12B-v1.1
• nbeerbower/Lyra4-Gutenberg-12B
• MarinaraSpaghetti/NemoMix-Unleashed-12B
• cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b
• nothingiisreal/MN-12B-Celeste-V1.9
• anthracite-org/magnum-v2-12b

設定

以下のYAML設定を使用してこのモデルを生成しました。

models:
  - model: LatitudeGames/Wayfarer-12B
  - model: MarinaraSpaghetti/NemoMix-Unleashed-12B
  - model: nothingiisreal/MN-12B-Celeste-V1.9
  - model: TheDrummer/Rocinante-12B-v1.1
  - model: anthracite-org/magnum-v2-12b
  - model: nbeerbower/Lyra4-Gutenberg-12B
  - model: cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b
merge_method: model_stock
base_model: yamatazen/EtherealAurora-12B-v2
normalize: false
int8_mask: true
dtype: bfloat16