Microsoft WizardLM 2 7B

🚀 WizardLM-2

WizardLM-2は、Microsoft AIによって開発された次世代の最先端大規模言語モデルです。複雑なチャット、多言語、推論、エージェントなどのタスクで高い性能を発揮します。

🚀 クイックスタート

2024年4月15日に、次世代の最先端大規模言語モデルであるWizardLM-2を導入し、オープンソース化しました。このモデルは、複雑なチャット、多言語、推論、エージェントなどのタスクで性能が向上しています。新しいモデルファミリーには、WizardLM-2 8x22B、WizardLM-2 70B、WizardLM-2 7Bの3つの最先端モデルが含まれています。

• WizardLM-2 8x22Bは最も高度なモデルで、主要な独占モデルと比較して非常に高い競争力を示し、すべての既存の最先端オープンソースモデルを上回っています。
• WizardLM-2 70Bは、トップクラスの推論能力を持ち、同サイズのモデルの中では第一選択です。
• WizardLM-2 7Bは最も高速で、既存の10倍大きいオープンソースの主要モデルと同等の性能を達成しています。

WizardLM-2の詳細については、リリースブログ記事と近日公開される論文を参照してください。

✨ 主な機能

モデルの詳細

モデルの能力

MT-Bench

lmsysによって提案されたGPT-4ベースの自動MT-Bench評価フレームワークを採用して、モデルの性能を評価しました。WizardLM-2 8x22Bは、最も高度な独占モデルと比較しても非常に高い競争力を示しています。同時に、WizardLM-2 7BとWizardLM-2 70Bは、7Bから70Bのモデル規模の他の主要なベースラインの中でもトップパフォーマンスを達成しています。

人間の好みによる評価

実世界の命令からなる複雑で挑戦的なセットを慎重に収集しました。これには、文章作成、コーディング、数学、推論、エージェント、多言語など、人間の主要な要求が含まれています。引き分けを除いた勝敗率を報告します。

• WizardLM-2 8x22Bは、GPT-4-1106-previewに僅かに劣り、Command R PlusやGPT4-0314よりも大幅に強力です。
• WizardLM-2 70Bは、GPT4-0613、Mistral-Large、Qwen1.5-72B-Chatよりも優れています。
• WizardLM-2 7Bは、Qwen1.5-32B-Chatと同等で、Qwen1.5-14B-ChatやStarling-LM-7B-betaを上回っています。

手法の概要

WizardLM-2モデルを訓練するために、完全にAI駆動された合成訓練システムを構築しました。このシステムの詳細については、ブログを参照してください。

💻 使用例

モデルのシステムプロンプトの使用に関する注意

WizardLM-2 は Vicuna のプロンプト形式を採用し、マルチターン 会話をサポートしています。プロンプトは以下のようにする必要があります。

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, 
detailed, and polite answers to the user's questions. USER: Hi ASSISTANT: Hello.</s>
USER: Who are you? ASSISTANT: I am WizardLM.</s>......

WizardLM-2推論デモスクリプト

GitHub上でWizardLM-2の推論デモ コード を提供しています。

📄 ライセンス

このプロジェクトはApache2.0ライセンスの下で公開されています。