Discolm Mixtral 8x7b V2

🚀 DiscoLM Mixtral 8x7b alpha

DiscoLM Mixtral 8x7b alpha は、Mistral AIのMixtral 8x7bに基づく、実験的な8x7b MoEモデルです。このモデルは、モデルの重みをHugging Face形式に変換し、Transformersベースの推論を可能にする実験的なコードに基づいています。その後、Synthia、MethaMathQA、Capybaraのデータセットで微調整されました。DiscoLM Mixtral 8x7b alphaはDiscoResearchのプロジェクトで、Björn Plüsterによって作成され、コミュニティから多くのサポートを得ています。

このプロジェクトのコンピューティングリソースを提供してくれたHessianAIと、このプロジェクトが実現できなかったであろうLAIONの素敵な皆さんに心から感謝します！

テーブルに座った8人のフランス人の専門家。強い風が吹いています。

🚀 クイックスタート

このセクションでは、DiscoLM Mixtral 8x7b alphaモデルの基本的な使い方や必要な情報を紹介します。

✨ 主な機能

• 実験的な8x7b MoEモデルで、高度な性能を発揮します。
• 複数のデータセットで微調整されており、幅広いタスクに対応します。

📦 インストール

ダウンロード

新しいアーキテクチャがTransformersにマージされるまで、trust_remote_code=Trueでモデルを実行する必要があります！

💻 使用例

基本的な使用法

このモデルはChatML形式に従っています。

<|im_start|>system
You are DiscoLM, a helpful assistant.
<|im_end|>
<|im_start|>user
Please tell me possible reasons to call a research collective "Disco Research"<|im_end|>
<|im_start|>assistant

このフォーマットは、事前定義されたTransformersのチャットテンプレートを通じても利用できます。つまり、メッセージのリストをapply_chat_template()メソッドでフォーマットすることができます。

chat = [
  {"role": "system", "content": "You are DiscoLM, a helpful assistant."},
  {"role": "user", "content": "Please tell me possible reasons to call a research collective Disco Research"}
]
tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

tokenize=True と return_tensors="pt" を使用すると、model.generate()に渡す準備ができたトークン化されたフォーマットの会話が得られます。

基本的な推論コード:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("DiscoResearch/DiscoLM-mixtral-8x7b-v2", low_cpu_mem_usage=True, device_map="auto", trust_remote_code=True)
tok = AutoTokenizer.from_pretrained("DiscoResearch/DiscoLM-mixtral-8x7b-v2")
chat = [
  {"role": "system", "content": "You are DiscoLM, a helpful assistant."},
  {"role": "user", "content": "Please tell me possible reasons to call a research collective Disco Research"}
]
x = tok.apply_chat_template(chat, tokenize=True, return_tensors="pt", add_generation_prompt=True).cuda()
x = model.generate(x, max_new_tokens=128).cpu()
print(tok.batch_decode(x))

📚 ドキュメント

ベンチマーク

Huggingface Leaderboard

このモデルはまだ初期のアルファ版で、実験的なコードを使用しているため、すべての値が正しいことを保証することはできません。以下は、私たち自身の評価によるスコアです。

私たちは、上記のベンチマークテストを実行するためにLanguage Model Evaluation Harnessを使用しており、HuggingFace LLM Leaderboardと同じバージョンを使用しています。

FastEval

{
    "gsm8k": 0.656,
    "math": 0.242,
    "bbh": {
        "average": 0.5807843137254902
    },
    "mmlu": {
        "average": 0.6245614035087719
    },
    "total": 0.4690691434468524
}

MTBench

{
  "first_turn": 7.89375,
  "second_turn": 7.5125,
  "categories": {
      "writing": 9.25,
      "roleplay": 8.425,
      "reasoning": 5.7,
      "math": 5.85,
      "coding": 4.45,
      "extraction": 8.75,
      "stem": 9.45,
      "humanities": 9.75
  },
  "average": 7.703125
}

プロンプトフォーマット

新しいアーキテクチャがTransformersにマージされるまで、trust_remote_code=Trueでモデルを実行する必要があります！

データセット

DiscoLM Mixtral 8x7b alphaのトレーニングには、以下のデータセットが使用されています。

• Synthia
• MetaMathQA
• LDJnrによるCapybaraデータセット

すべてのデータセット提供者/管理者に感謝します！

謝辞

まず第一に、素晴らしいモデルをリリースし、コミュニティ全体に楽しいリリース戦略を提供してくれたMistral AIに感謝します。また、特にDmytro Dzhulgakov（最初に動作する推論実装を行った人）、Vik（最初の実装に重大なバグを見つけた人）、winglian（役に立つアドバイスをくれた人）、モデルの微調整に使用されたAxolotl、MigTissera、MetaMath、LDJnr（素敵なデータセットを提供してくれた人）、そして私たちのNous Researchまたは他のDiscordのいずれかでこの素晴らしいスピードランに参加したすべての人に感謝します（ここで名前を忘れた場合は、ご連絡ください！）。

DiscoLM MixtralはDiscoResearchのプロジェクトで、Björn Plüsterによって作成されました。モデルはHessianAIが提供するコンピューティングリソースでトレーニングされました。また、LAIONの調整と貴重な連絡先とアドバイスにも感謝します。

免責事項

このモデルのライセンスは法的なアドバイスを構成するものではありません。このモデルを使用する第三者の行動について、私たちは責任を負いません。このモデルは研究目的でのみ使用する必要があります。

お問い合わせ

最良の連絡方法は、私たちのDiscordです。

DiscoResearchについて

DiscoResearchは、野心的なオープンリサーチコミュニティです。Discoは、多くのコミュニティの研究者が集まり、彼らの専門知識を組み合わせて、革新的で画期的なLLMを作成する場所であるべきです。私たちのDiscordに参加し、あなたの意見やアイデアを共有し、オープンLLM研究を一緒に進めましょう！

ライセンス

このモデルは、apache-2.0ライセンスの下で提供されています。