Mixtral 7b 8expert

🚀 Mixtral 7b 8 Expert

這是MistralAi新發布的混合專家（MoE）模型在HuggingFace上的初步實現。該模型可助力自然語言處理任務，提供高效準確的文本生成能力。

本項目是MistralAi新發布的混合專家（MoE）模型在HuggingFace上的初步實現。請確保在加載模型時使用 trust_remote_code=True。

感謝 @dzhulgakov 的早期實現（https://github.com/dzhulgakov/llama-mistral），他的工作幫助我找到了可行的配置。

同時，非常感謝我們在 LAION 和 HessianAI 的朋友，感謝他們為這些項目提供的計算資源！

📈 基準測試分數

hella swag: 0.8661
winogrande: 0.824
truthfulqa_mc2: 0.4855
arc_challenge:  0.6638
gsm8k: 0.5709
MMLU: 0.7173

🚀 快速開始

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("DiscoResearch/mixtral-7b-8expert", low_cpu_mem_usage=True, device_map="auto", trust_remote_code=True)
tok = AutoTokenizer.from_pretrained("DiscoResearch/mixtral-7b-8expert")
x = tok.encode("The mistral wind in is a phenomenon ", return_tensors="pt").cuda()
x = model.generate(x, max_new_tokens=128).cpu()
print(tok.batch_decode(x))

📦 轉換說明

使用 convert_mistral_moe_weights_to_hf.py --input_dir ./input_dir --model_size 7B --output_dir ./output 可將原始的合併權重轉換為HuggingFace的格式。

快來我們的 Disco(rd) 一起交流吧！ :)

📄 許可證

本項目採用 Apache-2.0 許可證。