# 混合エキスパートアーキテクチャ

BAGELはオープンソースの7Bアクティブパラメータマルチモーダル基盤モデルで、マルチモーダル理解と生成タスクをサポートします

BAGELはオープンソースの、70億の活性化パラメータを持つマルチモーダル基盤モデルで、大規模なインターレースマルチモーダルデータで訓練され、理解と生成タスクで優れた性能を発揮します。

Qwen3は通義千問シリーズの大規模言語モデルの最新バージョンで、一連の高密度型および混合エキスパート（MoE）モデルを提供しています。大規模なトレーニングに基づき、Qwen3は推論、指示追従、エージェント能力、多言語サポートにおいて画期的な進歩を実現しました。

霊曦はInclusionAIがオープンソース化した大規模混合エキスパート言語モデルで、簡易版は総パラメータ168億、活性化パラメータ27.5億を有し、卓越した性能を発揮します。

Qwen3-30Bの高速最適化バージョンで、活性化エキスパート数を減らすことで推論速度を倍増させ、迅速な応答が必要なテキスト生成シナリオに適しています

Qwen3-235B-A22BはQwenシリーズ最新世代の大規模言語モデルで、混合エキスパート(MoE)アーキテクチャを採用し、2350億パラメータと220億活性化パラメータを持ち、推論、指示追従、エージェント能力、多言語サポートにおいて卓越した性能を発揮します。

Nomic Embed Text V2 GGUF は70以上の言語をサポートする多言語テキスト埋め込みモデルで、文類似度計算や特徴抽出タスクに適しています。

Qwen3-235B-A22Bは2350億パラメータの大規模言語モデルで、ik_llama.cppブランチの先進的な非線形量子化処理を経ており、高性能計算環境に適しています。

Qwen3は通義千問シリーズの大規模言語モデルの最新バージョンで、密モデルと混合エキスパート（MoE）モデルの完全なスイートを提供し、推論、指示追従、エージェント能力、多言語サポートにおいて画期的な進歩を実現しています。

ラマ4スカウトはMetaが発表した170億パラメータの混合エキスパートモデル(MoE)で、多言語テキストと画像理解をサポートし、PEFT/LoRA互換性を考慮した線形化エキスパートモジュール設計を採用しています。

Dogeモデルは動的マスクアテンション機構を使用してシーケンス変換を行い、多層パーセプトロンまたはクロスドメイン混合エキスパートを使用して状態変換が可能です。

Llama 4 MaverickはMetaが開発したマルチモーダルAIモデルで、混合エキスパートアーキテクチャを採用し、テキストと画像の理解をサポート、170億の活性化パラメータと4000億の総パラメータを有しています。

DeepSeek-V3-0324はDeepSeekチームがリリースした3月の更新バージョンで、前世代と比較して複数のベンチマークテストで大幅な向上が見られ、動的量子化バージョンをサポートし、ローカル推論に適しています。

DeepSeek-R1は深度求索が開発した第一世代推論モデルで、大規模な強化学習トレーニングにより、数学、コード、推論タスクで優れた性能を発揮します。

Falcon3 7B-ITと7B-ITの混合エキスパートモデルで、134億のパラメータを持ち、英語、フランス語、スペイン語、ポルトガル語の4言語をサポートし、最大32Kのコンテキスト長に対応しています。

Mixtral 8x22BはMistralAIがリリースした1760億パラメータの混合エキスパートモデルで、多言語テキスト生成タスクをサポートします。

LOLAはスパース混合エキスパート(Mixture-of-Experts)Transformerアーキテクチャに基づき、160以上の言語をサポートする超大规模多言語大規模モデルで、自然言語生成と理解タスクにおいて競争力があります。

Jamba-v0.1をOpen-Platypus-ChatデータセットでQLoRAファインチューニングした大規模言語モデル、対話タスクに対応

Databricksが開発した混合エキスパート(MoE)大規模言語モデル、総パラメータ数1320億、活性化パラメータ360億、32Kコンテキストウィンドウをサポート

xLAM-v0.1は大規模アクションモデルシリーズの大幅なアップグレード版で、パラメータ数が同じ条件下で、幅広いエージェントタスクやシナリオで微調整されており、元のモデルの能力を保持しています。

これはmergekitツールを使用して複数のMistral-7Bバリアントモデルを統合したハイブリッドモデルで、テキスト生成タスクに特化しています。

OpenBuddyはMixtral-8x7Bアーキテクチャに基づく多言語対応のオープンチャットボットモデルで、多言語対話シナリオに適しています。

Mistral AIのMixtral 8x7bをベースに開発された実験的な8x7b混合エキスパートモデルで、Synthia、MetaMathQA、Capybaraデータセットでファインチューニングされています

MistralAIが最新リリースした混合エキスパート（MoE）モデルで、多言語テキスト生成タスクをサポート

OpenMoE-Baseはデバッグ目的の混合エキスパート(MoE)ベースモデルで、1280億トークンのみトレーニングされています。OpenMoEプロジェクトの一部として、オープンソースMoEコミュニティの発展を推進することを目的としています。

MoLMは混合エキスパート(MoE)アーキテクチャに基づく言語モデルシリーズで、700M-4Bバージョンは総パラメータ数40億、計算コストは7億パラメータの密モデル相当

マスク言語モデリングタスクでトレーニングされた混合エキスパート(MoE)モデルで、パラメータ規模は1.6兆に達し、T5に似たアーキテクチャを採用しているが、フィードフォワード層はスパースMLP層に置き換えられている

Fairseqの混合エキスパート密集モデルを微調整したバージョンで、主にSFとファンタジー類のテキスト生成に使用されます