Mixtral-8x7B-v0.1開源AI模型 - 性能超Llama 2 70B助力多樣任務處理

首頁

Mixtral 8x7B V0.1

由mistralai開發

Mixtral-8x7B是一個預訓練的生成式稀疏混合專家模型，在多數基準測試中表現優於Llama 2 70B。

大型語言模型

Transformers

支持多種語言開源協議:Apache-2.0 #稀疏混合專家 #多語言生成 #高性能LLM

下載量 42.78k

發布時間 : 12/1/2023

模型概述

這是一個多語言支持的大規模語言模型，採用混合專家架構，適用於文本生成任務。

模型特點

混合專家架構

採用稀疏混合專家模型設計，提高模型效率

多語言支持

支持法語、意大利語、德語、西班牙語和英語五種語言

高性能

在多數基準測試中表現優於Llama 2 70B模型

模型能力

多語言文本生成

長文本處理

上下文理解

使用案例

文本生成

內容創作

自動生成文章、故事等創意內容

對話系統

構建智能聊天機器人

語言處理

多語言翻譯

支持多種語言間的翻譯任務

🚀 Mixtral - 8x7B大語言模型

Mixtral - 8x7B大語言模型（LLM）是一個預訓練的生成式稀疏專家混合模型。在我們測試的大多數基準測試中，Mistral - 8x7B的表現優於Llama 2 70B。

如果你想了解更多關於我們如何處理您的個人數據的信息，請閱讀我們的隱私政策。

🚀 快速開始

若要了解此模型的完整詳情，請閱讀我們的發佈博客文章。

⚠️ 重要提示

本倉庫包含與vLLM模型服務以及Hugging Face transformers庫兼容的權重。它基於原始的Mixtral 種子發佈，但文件格式和參數名稱不同。請注意，目前還不能用HF實例化該模型。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mixtral-8x7B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id)

text = "Hello my name is"
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

高級用法

半精度加載

請注意，float16精度僅適用於GPU設備。

點擊展開

+ import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mixtral-8x7B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)

+ model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16).to(0)

text = "Hello my name is"
+ inputs = tokenizer(text, return_tensors="pt").to(0)

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

使用`bitsandbytes`進行低精度（8位和4位）加載

點擊展開

+ import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mixtral-8x7B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)

+ model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True)

text = "Hello my name is"
+ inputs = tokenizer(text, return_tensors="pt").to(0)

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

使用Flash Attention 2加載模型

點擊展開

+ import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mixtral-8x7B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)

+ model = AutoModelForCausalLM.from_pretrained(model_id, use_flash_attention_2=True)

text = "Hello my name is"
+ inputs = tokenizer(text, return_tensors="pt").to(0)

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

💡 使用建議

Mixtral - 8x7B是一個預訓練的基礎模型，因此沒有任何審核機制。

📄 許可證

本項目採用Apache - 2.0許可證。

團隊信息

Mistral AI團隊成員包括：Albert Jiang, Alexandre Sablayrolles, Arthur Mensch, Blanche Savary, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Emma Bou Hanna, Florian Bressand, Gianna Lengyel, Guillaume Bour, Guillaume Lample, Lélio Renard Lavaud, Louis Ternon, Lucile Saulnier, Marie - Anne Lachaux, Pierre Stock, Teven Le Scao, Théophile Gervet, Thibaut Lavril, Thomas Wang, Timothée Lacroix, William El Sayed。