Sixtyoneeighty 7b

🚀 モデルマージ

このプロジェクトは、mergekitを使用して事前学習された言語モデルをマージするものです。

🚀 クイックスタート

このモデルは、事前学習された複数の言語モデルをマージすることで作成されています。以下に詳細を説明します。

✨ 主な機能

• 複数の事前学習言語モデルをマージすることができます。
• DARE TIESマージ手法を使用しています。

📚 ドキュメント

マージの詳細

マージ手法

このモデルは、DARE TIESマージ手法を使用し、mlabonne/NeuralBeagle14-7Bをベースとしてマージされています。

マージされたモデル

以下のモデルがマージに含まれています。

• Intel/neural-chat-7b-v3-1
• mlabonne/AlphaMonarch-7B
• HuggingFaceH4/zephyr-7b-beta

設定

このモデルを生成するために使用されたYAML設定は以下の通りです。

base_model: mlabonne/NeuralBeagle14-7B
dtype: bfloat16
merge_method: dare_ties
models:
- model: mlabonne/NeuralBeagle14-7B
- model: mlabonne/AlphaMonarch-7B
  parameters:
    density: '0.53'
    weight: '0.4'
- model: Intel/neural-chat-7b-v3-1
  parameters:
    density: '0.53'
    weight: '0.3'
- model: HuggingFaceH4/zephyr-7b-beta
  parameters:
    density: '0.53'
    weight: '0.3'
parameters:
  int8_mask: true

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。