Llama 3.1 8b Dolermed R1 V1.01

🚀 モデルマージプロジェクト

このプロジェクトは、事前学習された言語モデルをマージするもので、mergekitを使用して作成されています。このマージにより、異なるモデルの特性を組み合わせた新しいモデルを生成することができます。

🚀 クイックスタート

このマージモデルは、transformersライブラリを使用して操作することができます。事前学習されたモデルをマージすることで、特定のタスクに適したモデルを構築することができます。

✨ 主な機能

• 複数の事前学習モデルをマージして新しいモデルを作成できます。
• Model Stockというマージ手法を用いています。

📦 インストール

このモデルを使用するには、transformersライブラリをインストールする必要があります。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

🔍 マージ詳細

マージ手法

このモデルは、Model Stockマージ手法を使用してマージされています。ベースモデルとしてhuihui-ai/Dolphin3.0-Llama3.1-8B-abliteratedが使用されています。

マージされたモデル

以下のモデルがマージに含まれています。

• meditsolutions/Llama-3.1-MedIT-SUN-8B
• NousResearch/DeepHermes-3-Llama-3-8B-Preview

設定

このモデルを生成するために使用されたYAML設定は次の通りです。

merge_method: model_stock
models:
  - model: NousResearch/DeepHermes-3-Llama-3-8B-Preview
    parameters:
      weight: 1.0
  - model: meditsolutions/Llama-3.1-MedIT-SUN-8B
    parameters:
      weight: 1.0
base_model: huihui-ai/Dolphin3.0-Llama3.1-8B-abliterated
dtype: bfloat16
normalize: true
chat_template: auto
tokenizer:
  source: union

📄 ライセンス

このモデルは、llama3.1ライセンスの下で提供されています。

📊 モデル情報