Mixtral 8x7B Instruct

Mistral AI の古典的な混合専門家モデルで、8 つの専門家からなる 7B パラメータアーキテクチャを採用しています。混合専門家技術により、高性能を維持しつつ効率最適化を実現し、推論ごとに一部の専門家のみをアクティブ化します。指示チューニングバージョンは様々なタスクで優れた性能を発揮し、混合専門家モデルの重要なマイルストーンとなりました。効率的な多任務処理が必要なアプリケーションシナリオに適しており、後の MoE モデル開発の基礎を築きました。