QWQ Stock

🚀 モデルマージプロジェクト

このプロジェクトは、mergekit を使用して事前学習された言語モデルをマージするものです。複数のモデルを組み合わせることで、より高性能なモデルを構築します。

🚀 クイックスタート

このモデルは、事前学習された複数の言語モデルをマージして作成されています。以下に詳細を示します。

✨ 主な機能

• 複数の事前学習言語モデルをマージできます。
• 複数の言語（中国語、英語、フランス語、スペイン語、ポルトガル語、ドイツ語、イタリア語、ロシア語、日本語、韓国語、ベトナム語、タイ語、アラビア語）に対応しています。

📦 インストール

インストールに関する具体的な手順は原ドキュメントに記載されていないため、このセクションを省略します。

💻 使用例

使用例に関する具体的なコードは原ドキュメントに記載されていないため、このセクションを省略します。

📚 ドキュメント

マージ詳細

マージ方法

このモデルは、Model Stock マージ方法を使用して、Qwen/Qwen2.5-32B-Instruct をベースにマージされています。

マージされたモデル

以下のモデルがマージに含まれています。

• Qwen/Qwen2.5-32B
• Qwen/QwQ-32B
• maldv/Awqward2.5-32B-Instruct
• huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated
• Qwen/QwQ-32B-Preview
• tanliboy/lambda-qwen2.5-32b-dpo-test

設定

以下のYAML設定を使用してこのモデルが生成されています。

models:
  - model: Qwen/QwQ-32B 
  - model: huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated 
  - model: Qwen/Qwen2.5-32B 
  - model: maldv/Awqward2.5-32B-Instruct
  - model: Qwen/Qwen2.5-32B-Instruct 
  - model: Qwen/QwQ-32B-Preview 
  - model: tanliboy/lambda-qwen2.5-32b-dpo-test
merge_method: model_stock
base_model: Qwen/Qwen2.5-32B-Instruct
normalize: true
int8_mask: true
dtype: bfloat16

🔧 技術詳細

技術的な詳細に関する具体的な説明は原ドキュメントに50文字以上記載されていないため、このセクションを省略します。

📄 ライセンス

ライセンス情報は原ドキュメントに記載されていないため、このセクションを省略します。

📋 モデル情報