Mistral 7B OpenOrca

🚀 🐋 Mistral - 7B - OpenOrca 🐋

🐋 Mistral - 7B - OpenOrcaは、高度な自然言語処理能力を持つ大規模言語モデルです。このモデルは、OpenOrcaデータセットを用いてMistral 7Bをファインチューニングすることで開発され、高い性能を発揮します。

🚀 クイックスタート

このモデルは、OpenOrcaデータセットを使用して、Mistral 7Bの上でファインチューニングされています。このデータセットは、Microsoft ResearchのOrca Paperで生成されたデータセットを再現しようという試みです。また、OpenChatのパッキングを使用し、Axolotlでトレーニングされています。

このリリースは、GPT - 4で拡張されたデータの精選されたフィルタリングされたサブセットでトレーニングされています。これは、OpenOrcaxOpenChat - Preview2 - 13Bモデルで使用されたのと同じデータのサブセットです。

HFリーダーボードの評価では、このモデルはリリース時点で30B未満のすべてのモデルの中で1位となり、他のすべての7Bおよび13Bモデルを上回っています！

このリリースは、初めての完全にオープンなモデルで、クラスを破る性能を持ち、中程度の消費者向けGPUでも完全に高速化して実行できます。Mistralチームに感謝します。

このモデルのコードネームは「MistralOrca」です。

もし今すぐこのモデルを試したい場合は、高速GPUで量子化されていない状態で実行しています：https://huggingface.co/spaces/Open-Orca/Mistral-7B-OpenOrca

フル（フィルタリング前）のデータセットを可視化したい場合は、Nomic Atlas Mapをチェックしてください。

現在、さらに多くのモデルをトレーニング中です。近い将来、エキサイティングなパートナーとともにリリースされるので、私たちの組織を注視してください。

また、Discordで先取り情報を発表する予定です。ここから見つけることができます：

https://AlignmentLab.ai

または、Axolotlトレーナーに関する詳細情報は、OpenAccess AI Collective Discordをチェックしてください：

https://discord.gg/5y8STgB3P3

✨ 主な機能

• 高度な性能：HFリーダーボードやAGIEval、BigBench - Hardなどの様々な評価で高い性能を発揮します。
• オープンソース：完全にオープンなモデルで、中程度の消費者向けGPUでも実行可能です。
• 柔軟なフォーマット：OpenAIのChat Markup Language (ChatML)形式をサポートしています。

📦 インストール

推論に関しては、このノートブックを参照してください。

ただし、現在はTransformersの開発スナップショットが必要です。MistralのサポートはまだPyPIにリリースされていないためです：

pip install git+https://github.com/huggingface/transformers

💻 使用例

基本的な使用法

このモデルは、Transformersのチャットテンプレートを使用して、メッセージのリストをフォーマットすることができます。

chat = [
  {"role": "system", "content": "You are MistralOrca, a large language model trained by Alignment Lab AI. Write out your reasoning step-by-step to be sure you get the right answers!"},
  {"role": "user", "content": "How are you?"},
  {"role": "assistant", "content": "I am doing well!"},
  {"role": "user", "content": "Please tell me about how mistral winds have attracted super-orcas."},
]
tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

これにより、以下のような出力が得られます：

<|im_start|>system
You are MistralOrca, a large language model trained by Alignment Lab AI. Write out your reasoning step-by-step to be sure you get the right answers!
<|im_end|>
<|im_start|>user
How are you?<|im_end|>
<|im_start|>assistant
I am doing well!<|im_end|>
<|im_start|>user
Please tell me about how mistral winds have attracted super-orcas.<|im_end|>
<|im_start|>assistant

tokenize=True と return_tensors="pt" を使用すると、トークン化されたフォーマットの会話を取得でき、model.generate() に渡すことができます。

📚 ドキュメント

プロンプトテンプレート

このモデルは、OpenAIのChat Markup Language (ChatML)形式を使用しており、これをサポートするために <|im_start|> と <|im_end|> トークンが追加されています。

これは、例えば oobabooga では「MPT - Chat」の命令テンプレートが機能することを意味します。これもChatMLを使用しているためです。

このフォーマットは、事前定義されたTransformersチャットテンプレートを介しても利用可能です。これにより、メッセージのリストを apply_chat_template() メソッドでフォーマットすることができます。

評価

HuggingFaceリーダーボードの性能

上記のベンチマークテストは、Language Model Evaluation Harnessを使用して実行されており、HuggingFace LLMリーダーボードと同じバージョンが使用されています。

AGIEvalの性能

Mistral - 7Bベースモデルと比較すると、AGI Evalではベースモデルの129％の性能を達成し、平均で0.397となっています。また、公式の mistralai/Mistral - 7B - Instruct - v0.1 のファインチューニングを大幅に上回り、彼らの性能の119％を達成しています。

BigBench - Hardの性能

BigBench - Hardでは、ベースモデルの119％の性能を達成し、平均で0.416となっています。

GPT4ALLリーダーボードの性能

以前のリリースよりもわずかに優れており、再びリーダーボードのトップを占め、平均で72.38となっています。

MT - Benchの性能

MT - Benchでは、GPT - 4をモデルの応答品質の判定基準として使用しています。このモデルは Llama2 - 70b - chat と同等の性能を発揮し、平均で6.86となっています。

データセット

このモデルは、OpenOrcaデータセットのGPT - 4で拡張されたデータの精選されたフィルタリングされたサブセットを使用してトレーニングされています。このデータセットは、Orca Research Paperのデータセットを再現することを目的としています。

トレーニング

このモデルは、8台のA6000 GPUで62時間トレーニングされ、1回のトレーニングランでデータセットの完全なファインチューニングを4エポック完了しました。費用は約400ドルでした。

🔧 技術詳細

• モデルタイプ：大規模言語モデル
• トレーニングデータ：OpenOrcaデータセットのGPT - 4で拡張されたデータの精選されたフィルタリングされたサブセット
• トレーニング環境：8台のA6000 GPU、62時間、4エポック

📄 ライセンス

このモデルは、Apache - 2.0ライセンスの下で提供されています。

📖 引用

@software{lian2023mistralorca1
  title = {MistralOrca: Mistral-7B Model Instruct-tuned on Filtered OpenOrcaV1 GPT-4 Dataset},
  author = {Wing Lian and Bleys Goodson and Guan Wang and Eugene Pentland and Austin Cook and Chanvichet Vong and "Teknium"},
  year = {2023},
  publisher = {HuggingFace},
  journal = {HuggingFace repository},
  howpublished = {\url{https://huggingface.co/Open-Orca/Mistral-7B-OpenOrca},
}
@misc{mukherjee2023orca,
      title={Orca: Progressive Learning from Complex Explanation Traces of GPT-4}, 
      author={Subhabrata Mukherjee and Arindam Mitra and Ganesh Jawahar and Sahaj Agarwal and Hamid Palangi and Ahmed Awadallah},
      year={2023},
      eprint={2306.02707},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}
@misc{longpre2023flan,
      title={The Flan Collection: Designing Data and Methods for Effective Instruction Tuning}, 
      author={Shayne Longpre and Le Hou and Tu Vu and Albert Webson and Hyung Won Chung and Yi Tay and Denny Zhou and Quoc V. Le and Barret Zoph and Jason Wei and Adam Roberts},
      year={2023},
      eprint={2301.13688},
      archivePrefix={arXiv},
      primaryClass={cs.AI}
}