Wizardlm 2 8x22B

🚀 WizardLM-2-8x22B

WizardLM-2は、複雑なチャット、多言語、推論、エージェントなどのタスクで性能が向上した次世代の最先端大規模言語モデルです。

🚀 クイックスタート

WizardLM-2-7Bの再アップロードについては、こちらを参照してください。

🏠 WizardLM-2リリースブログ
🤗 HFリポジトリ
🐱 Githubリポジトリ
🐦 Twitter
📃 WizardLM
📃 WizardCoder
📃 WizardMath
👋 Discordに参加しましょう

✨ 主な機能

最新ニュース 🔥🔥🔥 [2024/04/15]

WizardLM-2を導入し、オープンソース化しました。これは次世代の最先端大規模言語モデルで、複雑なチャット、多言語、推論、エージェントなどのタスクで性能が向上しています。新しいモデルファミリーには、WizardLM-2 8x22B、WizardLM-2 70B、WizardLM-2 7Bの3つの最先端モデルが含まれています。

• WizardLM-2 8x22Bは最も高度なモデルで、主要な独占モデルと比較して非常に競争力のある性能を示し、すべての既存の最先端オープンソースモデルを上回っています。
• WizardLM-2 70Bは、トップレベルの推論能力を持ち、同サイズのモデルの中では第一選択です。
• WizardLM-2 7Bは最も高速で、既存の10倍大きいオープンソースの主要モデルと同等の性能を達成しています。

WizardLM-2の詳細については、リリースブログ記事と今後公開される論文をご覧ください。

📚 ドキュメント

モデルの詳細

モデルの能力

MT-Bench

lmsysによって提案されたGPT-4ベースの自動MT-Bench評価フレームワークを採用して、モデルの性能を評価しました。WizardLM-2 8x22Bは、最も高度な独占モデルと比較しても非常に競争力のある性能を示しています。同時に、WizardLM-2 7BとWizardLM-2 70Bは、7Bから70Bのモデルスケールの他の主要なベースラインの中でもトップパフォーマンスのモデルです。

人間の嗜好評価

実世界の命令からなる複雑で挑戦的なセットを慎重に収集しました。これには、文章作成、コーディング、数学、推論、エージェント、多言語など、人間の主要な要件が含まれています。引き分けを除いた勝敗率を報告します。

• WizardLM-2 8x22Bは、GPT-4-1106-previewに僅かに劣っているだけで、Command R PlusやGPT4-0314よりも大幅に強力です。
• WizardLM-2 70Bは、GPT4-0613、Mistral-Large、Qwen1.5-72B-Chatよりも優れています。
• WizardLM-2 7Bは、Qwen1.5-32B-Chatと同等で、Qwen1.5-14B-ChatやStarling-LM-7B-betaを上回っています。

方法の概要

WizardLM-2モデルをトレーニングするために、完全にAI駆動の合成トレーニングシステムを構築しました。このシステムの詳細については、ブログを参照してください。

使用方法

⚠️ 重要提示

WizardLM-2のモデルシステムプロンプトの使用に関する注意事項です。

WizardLM-2は、Vicunaのプロンプト形式を採用し、マルチターン会話をサポートしています。プロンプトは以下のようにする必要があります。

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, 
detailed, and polite answers to the user's questions. USER: Hi ASSISTANT: Hello.</s>
USER: Who are you? ASSISTANT: I am WizardLM.</s>......

WizardLM-2推論デモスクリプト GitHubにWizardLM-2の推論デモコードを提供しています。

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルはApache2.0ライセンスの下で提供されています。