Llama 3.1 8b DodoWild V2.01

🚀 Llama_3.1_8b_DodoWild_v2.01

このモデルは、事前学習された言語モデルをmergekitを用いてマージしたものです。テキスト生成タスクにおいて高い性能を発揮します。

🚀 クイックスタート

このモデルは、テキスト生成タスクに使用できます。以下のセクションで詳細を説明します。

✨ 主な機能

• mergekitを使用したモデルマージ
• 複数の事前学習モデルを組み合わせた高性能なテキスト生成

📦 インストール

原READMEにインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

原READMEにコード例が記載されていないため、このセクションをスキップします。

📚 ドキュメント

マージの詳細

マージ方法

このモデルは、Model Stockマージ方法を使用して、SentientAGI/Dobby-Mini-Unhinged-Llama-3.1-8Bをベースにマージされました。

マージされたモデル

以下のモデルがマージに含まれています。

• Nexesenex/Llama_3.1_8b_Dolermed_V1.01
• Nexesenex/Llama_3.1_8b_Smarteaz_V1.01

設定

このモデルを生成するために、以下のYAML設定が使用されました。

merge_method: model_stock
models:
  - model: Nexesenex/Llama_3.1_8b_Dolermed_V1.01
    parameters:
      weight: 1.0
  - model: Nexesenex/Llama_3.1_8b_Smarteaz_V1.01
    parameters:
      weight: 1.0
base_model: SentientAGI/Dobby-Mini-Unhinged-Llama-3.1-8B
dtype: bfloat16
normalize: true
chat_template: auto
tokenizer:
  source: union

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

🔧 技術詳細

原READMEに具体的な技術説明が50字以上記載されていないため、このセクションをスキップします。

📄 ライセンス