Mistral Portuguese Luana 7b

🚀 Mistral-portuguese-luana-7b

本模型基于200,000条葡萄牙语指令的超集进行训练，旨在填补葡萄牙语模型的空白。它在Mistral 7b的基础上进行微调，主要针对指令任务进行了优化。

如果您需要更高的兼容性，Luana模型还有可以使用LlamaCpp运行的GGUF系列。您可以从以下模型开始探索：

• Mistral-portuguese-luana-7b-q8-gguf
• Mistral-portuguese-luana-7b-f16-gguf

探索这些模型，找到最适合您需求的那一个！

🚀 快速开始

完整模型：A100

半精度模型：L4

8位或4位量化：T4或V100

您可以使用正常形式的模型，也可以进行高达4位的量化。下面我们将介绍这两种方法。请记住，在提示词中使用明确的动词很重要。告诉模型如何行动或表现，这样您就能引导它给出更好的回复。这些要点有助于模型（即使是像7b这样的小模型）表现得更好。

!pip install -q -U transformers
!pip install -q -U accelerate
!pip install -q -U bitsandbytes

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model = AutoModelForCausalLM.from_pretrained("rhaymison/Mistral-portuguese-luana-7b", device_map= {"": 0})
tokenizer = AutoTokenizer.from_pretrained("rhaymison/Mistral-portuguese-luana-7b")
model.eval()

您可以使用Pipeline，但在这个例子中，我们将使用流式输出：

inputs = tokenizer([f"""<s>[INST] Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto.
Escreva uma resposta que complete adequadamente o pedido.
### instrução: aja como um professor de matemática e me explique porque 2 + 2 = 4.
[/INST]"""], return_tensors="pt")

inputs.to(model.device)

streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
_ = model.generate(**inputs, streamer=streamer, max_new_tokens=200)

如果您遇到“CUDA内存不足”之类的内存问题，您应该使用4位或8位量化。在Colab上运行完整模型需要A100。如果您想使用4位或8位量化，T4或L4就可以解决问题。

💻 使用示例

基础用法

!pip install -q -U transformers
!pip install -q -U accelerate
!pip install -q -U bitsandbytes

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model = AutoModelForCausalLM.from_pretrained("rhaymison/Mistral-portuguese-luana-7b", device_map= {"": 0})
tokenizer = AutoTokenizer.from_pretrained("rhaymison/Mistral-portuguese-luana-7b")
model.eval()

高级用法

from transformers import BitsAndBytesConfig
import torch
nb_4bit_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True
)

model = AutoModelForCausalLM.from_pretrained(
    base_model,
    quantization_config=bnb_config,
    device_map={"": 0}
)

📚 详细文档

Open Portuguese LLM Leaderboard评估结果

详细结果可查看此处

📄 许可证

本项目采用Apache-2.0许可证。

评论

欢迎提出任何想法、提供帮助或反馈问题。 邮箱：rhaymisoncristian@gmail.com