Paxinium 12b Model Stock

🚀 事前学習言語モデル統合プロジェクト

このプロジェクトでは、mergekit ツールを使用して複数の事前学習言語モデルを統合し、異なるモデルの長所を融合し、言語処理能力を向上させることを目指しています。

🚀 クイックスタート

このプロジェクトは、mergekit を使用して作成された事前学習言語モデルの統合プロジェクトです。

📚 ドキュメント

🔍 統合の詳細

統合方法

このモデルは、Model Stock 統合方法を採用し、Delta-Vector/Francois-PE-V2-Huali-12B をベースモデルとして統合を行っています。

統合に参加したモデル

以下のモデルが今回の統合に参加しました：

• Delta-Vector/Rei-V3-KTO-12B
• yamatazen/EtherealAurora-12B-v2
• redrix/GodSlayer-12B-ABYSS
• yamatazen/BlueLight-12B

設定情報

以下は、このモデルを生成するための YAML 設定です：

base_model: Delta-Vector/Francois-PE-V2-Huali-12B
models:
  - model: Delta-Vector/Rei-V3-KTO-12B
  - model: redrix/GodSlayer-12B-ABYSS
  - model: yamatazen/BlueLight-12B
  - model: yamatazen/EtherealAurora-12B-v2  
merge_method: model_stock
dtype: bfloat16
parameters:
  normalize: true

🔖 モデル情報表