Mera Mix 4x7B

🚀 模型 mera-mix-4x7B

mera-mix-4x7B 是一款專家混合（MoE）模型，其規模僅為 Mixtral-8x7B 的一半（4 個專家而非 8 個），但在不同基準測試中與 Mixtral-8x7B 表現相當。你可以將其直接替代 Mixtral-8x7B 使用，並且能獲得更快的推理速度。

該模型在 OpenLLM 評估中取得了 75.91 的分數，相比之下，Mixtral-8x7B 為 72.7，Mixtral-8x22B 為 74.46。

你可以通過 Mera Mixture Chat 來試用該模型。

此外，除了官方的 Open LLM 排行榜，OpenLLM 評估的結果也得到了 其他方面的驗證（76.59）。

我們自己的初始評估結果可查看 此處（76.37）。

📚 詳細文檔

Open LLM 排行榜評估結果

詳細結果可查看 此處

📄 許可證

本項目採用 Apache-2.0 許可證。