Wizardlm 2 8x22B

🚀 WizardLM-2

WizardLM-2は、次世代の最先端大規模言語モデルで、複雑なチャット、多言語、推論、エージェント機能において性能が向上しています。

🚀 クイックスタート

2024年4月15日に、次世代の最先端大規模言語モデルであるWizardLM-2を導入し、オープンソース化しました。この新しいモデルは、複雑なチャット、多言語、推論、エージェント機能において性能が向上しています。新しいモデルファミリーには、WizardLM-2 8x22B、WizardLM-2 70B、WizardLM-2 7Bの3つの最先端モデルが含まれています。

• WizardLM-2 8x22Bは最も高度なモデルで、主要な独占モデルと比較して非常に高い競争力を持ち、既存の最先端オープンソースモデルを常に上回っています。
• WizardLM-2 70Bは、トップレベルの推論能力を持ち、同サイズのモデルの中では第一の選択肢です。
• WizardLM-2 7Bは最も高速で、既存の10倍大きいオープンソースの主要モデルと同等の性能を達成しています。

WizardLM-2の詳細については、リリースブログ記事と今後公開される論文をご覧ください。

✨ 主な機能

モデル詳細

モデル能力

MT-Bench

lmsysによって提案されたGPT-4ベースの自動MT-Bench評価フレームワークを採用して、モデルの性能を評価しました。WizardLM-2 8x22Bは、最も高度な独占モデルと比較しても非常に高い競争力を持っています。同時に、WizardLM-2 7BとWizardLM-2 70Bは、7Bから70Bのモデル規模の他の主要なベースラインの中でもトップパフォーマンスを発揮しています。

人間の嗜好評価

実世界の命令からなる複雑で挑戦的なセットを慎重に収集しました。これには、文章作成、コーディング、数学、推論、エージェント、多言語など、人間の主要な要求が含まれています。引き分けを除いた勝率と敗率を報告します。

• WizardLM-2 8x22Bは、GPT-4-1106-previewに僅かに劣っているだけで、Command R PlusやGPT4-0314よりも大幅に強力です。
• WizardLM-2 70Bは、GPT4-0613、Mistral-Large、Qwen1.5-72B-Chatよりも優れています。
• WizardLM-2 7Bは、Qwen1.5-32B-Chatと同等で、Qwen1.5-14B-ChatやStarling-LM-7B-betaを上回っています。

方法の概要

完全にAI駆動の合成トレーニングシステムを構築して、WizardLM-2モデルをトレーニングしました。このシステムの詳細については、ブログを参照してください。

💻 使用例

基本的な使用法

❗モデルのシステムプロンプトの使用に関する注意事項:

WizardLM-2 は Vicuna のプロンプト形式を採用しており、複数ターンの会話をサポートしています。プロンプトは以下のようにする必要があります。

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, 
detailed, and polite answers to the user's questions. USER: Hi ASSISTANT: Hello.</s>
USER: Who are you? ASSISTANT: I am WizardLM.</s>......

高度な使用法

WizardLM-2推論デモスクリプト

GitHub上にWizardLM-2の推論デモ コード を提供しています。

📄 ライセンス

このプロジェクトは、Apache2.0ライセンスの下で公開されています。