Llama 3.1 8b DodoWild V2.02

🚀 モデルマージ

このプロジェクトは、mergekitを使用して作成された事前学習済み言語モデルのマージです。マージにより、各モデルの特性を組み合わせ、新たなモデルを生成しています。

🚀 クイックスタート

このモデルは、transformersライブラリを使用して操作できます。以下に基本的な情報を示します。

✨ 主な機能

このモデルは、複数の事前学習済み言語モデルをマージすることで、各モデルの強みを生かした性能を発揮します。具体的なマージの詳細は以下の通りです。

📚 ドキュメント

🔍 マージの詳細

マージ方法

このモデルは、Model Stockマージ方法を使用してマージされています。ベースモデルとしてSentientAGI/Dobby-Mini-Unhinged-Llama-3.1-8Bを使用しています。

マージされたモデル

以下のモデルがマージに含まれています。

• Nexesenex/Llama_3.1_8b_Dolermed_R1_V1.01
• Nexesenex/Llama_3.1_8b_Smarteaz_V1.01

設定

このモデルを生成するために使用されたYAML設定は以下の通りです。

merge_method: model_stock
models:
  - model: Nexesenex/Llama_3.1_8b_Dolermed_R1_V1.01
    parameters:
      weight: 1.0
  - model: Nexesenex/Llama_3.1_8b_Smarteaz_V1.01
    parameters:
      weight: 1.0
base_model: SentientAGI/Dobby-Mini-Unhinged-Llama-3.1-8B
dtype: bfloat16
normalize: true
chat_template: auto
tokenizer:
  source: union

📄 ライセンス

このモデルはllama3.1ライセンスの下で提供されています。