Qwen2.5 0.5B Instruct

🚀 Qwen2.5-0.5B-Instruct

このモデルは、テキスト生成を行うためのもので、Gensyn RL Swarm での使用を想定しています。トレーニング後にピアツーピア強化学習を用いてローカルで微調整することができます。

🚀 クイックスタート

このモデルをスワームにデプロイし、および/またはGensynテストネットに参加するには、RL Swarmリポジトリ の指示に従い、テストネット について読み、RL Swarmの概要 を読み、および/または RL Swarmの技術レポート を読んでください。

✨ 主な機能

このリポジトリには、指示調整された0.5BのQwen2.5モデルの未変更バージョンが含まれており、以下の特徴があります。

• タイプ: 因果言語モデル
• トレーニング段階: 事前学習と事後学習
• アーキテクチャ: RoPE、SwiGLU、RMSNorm、Attention QKVバイアス、および結合された単語埋め込みを備えたトランスフォーマー
• パラメータ数: 0.49B
• パラメータ数（非埋め込み）: 0.36B
• レイヤー数: 24
• アテンションヘッド数（GQA）: Qに14、KVに2
• コンテキスト長: 最大32,768トークン、生成は8192トークン

📚 ドキュメント

概要

このモデルは Gensyn RL Swarm での使用を想定しており、トレーニング後にピアツーピア強化学習を用いてローカルで微調整することができます。微調整後は、通常のワークフローで使用できます。詳細については、元のモデルドキュメント を参照してください。元のモデルの詳細については、こちらの元のリポジトリ を参照してください。

要件

このモデルは Gensyn RL Swarm システムでの使用を想定しています。スワーム外で使用する場合のモデル要件の詳細については、元のQwenリポジトリ を参照してください。

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。