# MoEアーキテクチャ

Qwen3はQwenシリーズ最新世代の大規模言語モデルで、一連の高密度および混合専門家（MoE）モデルを提供します。広範なトレーニングに基づき、Qwen3は推論、指示追従、エージェント能力、多言語サポートにおいて画期的な進歩を遂げました。

Qwen3-235B-A22Bは通義大規模言語モデルシリーズの最新世代の製品で、一連の密集型と混合専門家（MoE）モデルを提供し、推論、命令遵守、インテリジェントエージェント能力、多言語サポートの面で画期的な進歩を遂げています。

Qwen3-14B-Baseは通義千問シリーズの最新世代大規模言語モデルで、148億パラメータの密モデルを提供し、32kの文脈長をサポート、119言語をカバーします。

Qwen3-4B-Baseは通義千問シリーズ最新世代の40億パラメータを持つ事前学習言語モデルで、32kのコンテキスト長と多言語処理をサポートしています。

通義千問シリーズ最新世代の大規模言語モデルで、148億パラメータの事前学習済みベースモデルを提供し、32kの超長文脈理解をサポート

Qwen3-1.7Bは通義千問シリーズ最新世代の17億パラメータ基本言語モデルで、3段階事前学習体系を採用し、32kのコンテキスト長をサポートします。

Qwen3-4B-Baseは通義千問シリーズ最新世代の40億パラメータ大規模言語モデルで、36兆トークンの多言語データで事前学習され、32kのコンテキスト長をサポートします。

CNMBertはピンイン略語翻訳に特化したモデルで、Chinese-BERT-wwmをベースに訓練され、事前学習タスクを修正してピンイン略語翻訳タスクに適応させています。

DeepSeek-R1はDeepSeekが開発した第一世代推論モデルで、強化学習によって訓練され、数学、コード、推論タスクで優れた性能を発揮します。

ピンイン略語を翻訳するためのモデルで、Chinese-BERT-wwmをベースに訓練され、ピンイン略語翻訳タスクに適応しています。

Granite-3.1-1B-A400M-BaseはIBMが開発した言語モデルで、漸進的トレーニング戦略を通じて文脈長を4Kから128Kに拡張し、多言語と様々なテキスト処理タスクをサポートしています。

JetMoE-8Bは、10万ドル未満のトレーニングコストでLLaMA2-7Bの性能レベルを達成した効率的なオープンソース大規模言語モデルで、低リソース環境向けに設計されています。