Mixtral-8x7B-v0.1开源AI模型 - 性能超Llama 2 70B助力多样任务处理

首页

Mixtral 8x7B V0.1

由 mistralai 开发

Mixtral-8x7B是一个预训练的生成式稀疏混合专家模型，在多数基准测试中表现优于Llama 2 70B。

大型语言模型

Transformers

支持多种语言开源协议:Apache-2.0 #稀疏混合专家 #多语言生成 #高性能LLM

下载量 42.78k

发布时间 : 12/1/2023

模型简介

这是一个多语言支持的大规模语言模型，采用混合专家架构，适用于文本生成任务。

模型特点

混合专家架构

采用稀疏混合专家模型设计，提高模型效率

多语言支持

支持法语、意大利语、德语、西班牙语和英语五种语言

高性能

在多数基准测试中表现优于Llama 2 70B模型

模型能力

多语言文本生成

长文本处理

上下文理解

使用案例

文本生成

内容创作

自动生成文章、故事等创意内容

对话系统

构建智能聊天机器人

语言处理

多语言翻译

支持多种语言间的翻译任务

🚀 Mixtral - 8x7B大语言模型

Mixtral - 8x7B大语言模型（LLM）是一个预训练的生成式稀疏专家混合模型。在我们测试的大多数基准测试中，Mistral - 8x7B的表现优于Llama 2 70B。

如果你想了解更多关于我们如何处理您的个人数据的信息，请阅读我们的隐私政策。

🚀 快速开始

若要了解此模型的完整详情，请阅读我们的发布博客文章。

⚠️ 重要提示

本仓库包含与vLLM模型服务以及Hugging Face transformers库兼容的权重。它基于原始的Mixtral 种子发布，但文件格式和参数名称不同。请注意，目前还不能用HF实例化该模型。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mixtral-8x7B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id)

text = "Hello my name is"
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

高级用法

半精度加载

请注意，float16精度仅适用于GPU设备。

点击展开

+ import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mixtral-8x7B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)

+ model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16).to(0)

text = "Hello my name is"
+ inputs = tokenizer(text, return_tensors="pt").to(0)

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

使用`bitsandbytes`进行低精度（8位和4位）加载

点击展开

+ import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mixtral-8x7B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)

+ model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True)

text = "Hello my name is"
+ inputs = tokenizer(text, return_tensors="pt").to(0)

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

使用Flash Attention 2加载模型

点击展开

+ import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mixtral-8x7B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)

+ model = AutoModelForCausalLM.from_pretrained(model_id, use_flash_attention_2=True)

text = "Hello my name is"
+ inputs = tokenizer(text, return_tensors="pt").to(0)

outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

💡 使用建议

Mixtral - 8x7B是一个预训练的基础模型，因此没有任何审核机制。

📄 许可证

本项目采用Apache - 2.0许可证。

团队信息

Mistral AI团队成员包括：Albert Jiang, Alexandre Sablayrolles, Arthur Mensch, Blanche Savary, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Emma Bou Hanna, Florian Bressand, Gianna Lengyel, Guillaume Bour, Guillaume Lample, Lélio Renard Lavaud, Louis Ternon, Lucile Saulnier, Marie - Anne Lachaux, Pierre Stock, Teven Le Scao, Théophile Gervet, Thibaut Lavril, Thomas Wang, Timothée Lacroix, William El Sayed。