Mera Mix 4x7B

🚀 モデル mera-mix-4x7B

このモデルは、エキスパート混合（MoE）モデルであり、Mixtral-8x7B の半分の規模（8 個ではなく 4 個のエキスパート）ですが、様々なベンチマークで同等の性能を発揮します。Mixtral-8x7B の代わりに使用することができ、推論速度を大幅に向上させることができます。

mera-mix-4x7B は、OpenLLM Eval で 75.91 点を獲得しており、Mixtral-8x7B の 72.7 点、Mixtral-8x22B の 74.46 点と比較して良好な結果を示しています。

Mera Mixture Chat でこのモデルを試すことができます。

また、公式の Open LLM Leaderboard だけでなく、OpenLLM Eval の結果は 他の人によっても検証されています (76.59)。

私たち自身の初期評価結果は こちら (76.37) で確認できます。

📚 ドキュメント

Open LLM Leaderboard 評価結果

詳細な結果は こちら で確認できます。

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。