Llama 3 Stinky V2 8B

🚀 llama-3-stinky-v2-8B

このモデルは、mergekitを使用して事前学習された言語モデルをマージしたものです。複数の優れたモデルを統合することで、様々な自然言語処理タスクで高い性能を発揮します。

🚀 クイックスタート

このモデルは、事前学習された複数の言語モデルをマージして作成されています。以下に、マージの詳細を説明します。

✨ 主な機能

• 複数の事前学習モデルをマージし、多様な自然言語処理タスクに対応。
• Model Stockマージ方法を使用し、高性能を実現。

📚 ドキュメント

マージ詳細

マージ方法

このモデルは、flammenai/Mahou-1.1-llama3-8Bをベースとして、Model Stockマージ方法を使用してマージされています。

マージされたモデル

以下のモデルがマージに含まれています：

• mlabonne/ChimeraLlama-3-8B-v2
• grimjim/llama-3-merge-pp-instruct-8B
• grimjim/llama-3-merge-virt-req-8B
• uygarkurt/llama-3-merged-linear
• jeiku/Orthocopter_8B
• grimjim/llama-3-nvidia-ChatQA-1.5-8B
• openlynn/Llama-3-Soliloquy-8B-v2
• VAGOsolutions/Llama-3-SauerkrautLM-8b-Instruct
• nbeerbower/llama-3-stella-8B
• cloudyu/Meta-Llama-3-8B-Instruct-DPO
• NeverSleep/Llama-3-Lumimaid-8B-v0.1-OAS
• flammenai/Mahou-1.0-llama3-8B

設定

このモデルを生成するために使用されたYAML設定は以下の通りです：

models:
  - model: mlabonne/ChimeraLlama-3-8B-v2
  - model: cloudyu/Meta-Llama-3-8B-Instruct-DPO
  - model: nbeerbower/llama-3-stella-8B
  - model: VAGOsolutions/Llama-3-SauerkrautLM-8b-Instruct
  - model: uygarkurt/llama-3-merged-linear
  - model: openlynn/Llama-3-Soliloquy-8B-v2
  - model: grimjim/llama-3-merge-pp-instruct-8B
  - model: NeverSleep/Llama-3-Lumimaid-8B-v0.1-OAS
  - model: grimjim/llama-3-merge-virt-req-8B
  - model: jeiku/Orthocopter_8B
  - model: grimjim/llama-3-nvidia-ChatQA-1.5-8B
  - model: flammenai/Mahou-1.0-llama3-8B
merge_method: model_stock
base_model: flammenai/Mahou-1.1-llama3-8B
dtype: bfloat16

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルのライセンスはllama3です。