Mixtral 7b 8expert

🚀 Mixtral 7b 8 Expert

このプロジェクトは、MistralAIによって新たにリリースされたMoEモデルのHuggingFaceによる初期実装です。trust_remote_code=True を指定してモデルをロードしてください。

@dzhulgakov氏による初期実装 (https://github.com/dzhulgakov/llama-mistral) が、動作するセットアップを見つけるのに役立ちました。この実装に感謝いたします。

また、これらのプロジェクトで使用するコンピューティングリソースを提供してくれた LAION と HessianAI の皆さんにも深く感謝いたします！

🚀 クイックスタート

このセクションでは、Mixtral 7b 8 Expertモデルの基本的な推論セットアップと変換方法について説明します。

✨ 主な機能

• MistralAIの新しいMoEモデルのHuggingFace実装です。
• いくつかのベンチマークテストで高いスコアを記録しています。

📊 ベンチマークスコア

hella swag: 0.8661
winogrande: 0.824
truthfulqa_mc2: 0.4855
arc_challenge:  0.6638
gsm8k: 0.5709
MMLU: 0.7173

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("DiscoResearch/mixtral-7b-8expert", low_cpu_mem_usage=True, device_map="auto", trust_remote_code=True)
tok = AutoTokenizer.from_pretrained("DiscoResearch/mixtral-7b-8expert")
x = tok.encode("The mistral wind in is a phenomenon ", return_tensors="pt").cuda()
x = model.generate(x, max_new_tokens=128).cpu()
print(tok.batch_decode(x))

📦 インストール

元の統合された重みをこのHuggingFaceセットアップに変換するには、以下のコマンドを使用してください。

convert_mistral_moe_weights_to_hf.py --input_dir ./input_dir --model_size 7B --output_dir ./output

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。

コミュニティに参加しましょう！

このプロジェクトについて話し合うには、Disco(rd) に参加してください！ :)