# 混合エキスパートモデル

Qwen3は通義千問シリーズの最新世代大規模言語モデルで、密モデルと混合エキスパート（MoE）モデルの完全なスイートを提供します。大規模なトレーニングに基づき、Qwen3は推論能力、命令追従、エージェント機能、多言語サポートにおいて画期的な進歩を実現しました。

Qwen3は通義千問シリーズの最新世代大規模言語モデルで、完全な密モデルと混合エキスパート（MoE）モデルの組み合わせを提供します。大規模なトレーニングに基づき、Qwen3は推論能力、命令追従、エージェント機能、多言語サポートにおいて画期的な進歩を実現しました。

Qwen3はQwenシリーズ最新世代の大規模言語モデルで、一連の高密度および混合エキスパート（MoE）モデルを提供します。広範なトレーニングに基づき、Qwen3は推論、指示追従、エージェント能力、多言語サポートにおいて画期的な進歩を遂げました。

Qwen3はQwenシリーズの最新世代の大規模言語モデルで、一連の高密度および混合エキスパート（MoE）モデルを提供します。広範なトレーニングに基づき、Qwen3は推論、指示遵守、エージェント能力、多言語サポートにおいて画期的な進歩を実現しました。

Qwen3-30B-A3B-Baseは通義千問シリーズ最新世代の30.5Bパラメータ規模の混合エキスパート（MoE）大規模言語モデルで、119言語と32kの文脈長をサポートします。

実験的なロールプレイ指向の混合エキスパートモデルで、ロールプレイ/感情ロールプレイタスクにおいてMixtral 8x7Bおよびそのファインチューニングバージョンに劣らない、あるいは優れたパフォーマンスを発揮することを目標としています。

スノーフレーク・アークティックは、Snowflake AI研究チームによって開発された高密度混合エキスパート（MoE）アーキテクチャの大規模言語モデルで、4800億のパラメータを持ち、効率的なテキストおよびコード生成のために設計されています。

ArcticはSnowflake AIリサーチチームによって開発された高密度混合エキスパート（MoE）アーキテクチャの大規模言語モデルで、4800億のパラメータを持ち、Apache-2.0ライセンスでオープンソース化されています。

Copus-2x8B は Llama-3-8B アーキテクチャを基にした混合エキスパートモデルで、dreamgen/opus-v1.2-llama-3-8b と NousResearch/Meta-Llama-3-8B-Instruct の2つのファインチューニングバージョンを組み合わせています。

Mixtral-8x22B-v0.1をファインチューニングした1410億パラメータの混合エキスパートモデル(MoE)、活性化パラメータ350億、主に英語テキスト生成タスク用

LiteLlama-460M-1Tは軽量な混合エキスパートモデルで、512のエキスパートを含み、効率的な推論とテキスト生成タスクに適しています。

Dolphin-2.6-Mistral-7B-DPO-Laserをベースにした中規模混合エキスパート(MoE)実装で、評価性能が平均約1ポイント向上

phixtral-2x2_8 は、2つの microsoft/phi-2 モデルを基に構築された初の混合エキスパートモデル（MoE）であり、個々のエキスパートモデルよりも優れたパフォーマンスを発揮します。