Falcon3 MoE 2x7B Insruct

🚀 Falcon3 MoE 2x7B Instruct

Falcon3 7B-ITと7B-ITのエキスパート混合モデルです。このモデルは、推論、言語理解、命令実行、コード生成、数学的タスクなどで優れた性能を発揮します。

🚀 クイックスタート

このモデルは、Falcon3ファミリーの事前学習済みおよび命令対応型の大規模言語モデルで、1Bから10Bのパラメータを持つモデルが含まれています。このリポジトリにはFalcon3-7B-Instructが含まれており、リリース時点で最先端の結果を達成しています。Falcon3-7B-Instructは4つの言語（英語、フランス語、スペイン語、ポルトガル語）をサポートし、最大32Kのコンテキスト長を持っています。

✨ 主な機能

• 13.4Bパラメータ
• BF16
• Falcon3 (Llama)
• 命令対応型

📦 インストール

原READMEにインストール手順が記載されていないため、このセクションは省略されました。

💻 使用例

原READMEにコード例が記載されていないため、このセクションは省略されました。

📚 ドキュメント

原READMEに詳細説明が記載されていないため、このセクションは省略されました。

🔧 技術詳細

原READMEに技術詳細が記載されていないため、このセクションは省略されました。

📄 ライセンス

このプロジェクトは、他のライセンスに基づいています。