Llama 3.1 Tango 70b Bnb 4b

🚀 Tango-70B-Instruct 大语言模型

Tango-70B-Instruct 是一款大型语言模型，旨在提升西班牙语区域的语言表现。它基于特定数据集训练，能在多种自然语言处理任务中展现出良好性能。

🚀 快速开始

你可以使用 HuggingFace Transformers 库来使用该模型。运行此模型需要 2 个或更多 80GB 的 GPU（NVIDIA Ampere 或更新版本），并且至少需要 150GB 的可用磁盘空间来完成下载。

此代码已在 Transformers v4.44.0、torch v2.4.0 和 2 个 A100 80GB GPU 上进行了测试。任何支持 meta-llama/Llama-3.1-70B-Instruct 的设置也应该支持此模型。如果你遇到问题，可以考虑执行 pip install -U transformers。

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
import torch

# Load base model and tokenizer
base_model_id = "nvidia/Llama-3.1-Nemotron-70B-Instruct-HF"
adapter_model_id = "sandbox-ai/Tango-70b"

# Create quantization config for 4-bit precision
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_use_double_quant=True,
)

# Load tokenizer from base model
tokenizer = AutoTokenizer.from_pretrained(base_model_id)

# Load the base model with 4-bit quantization
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    quantization_config=bnb_config,
    device_map="auto",  # This will automatically handle model sharding
    trust_remote_code=True
)

# Load the PEFT adapter
model = PeftModel.from_pretrained(
    base_model,
    adapter_model_id,
    device_map="auto",  # This will automatically handle model sharding
)

hola_mundo = """
Bienvenido. 
Tu nombre es "Tango", sos la primer IA hecha en LatinoAmérica, basada en un Large Language Model de 70 billones de parámetros y creada en Argentina. 

Cuál es la importancia de hacer IA nativa en LatinoAmérica? qué beneficios trae haberte creado, en comparación a depender de las IAs creadas en USA, Francia o China?

"""

# Test prompt
messages = [
    {"role": "user", "content": hola_mundo}
]

# Format the input using the chat template
inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

# Generate response with memory-efficient settings
with torch.inference_mode():
    outputs = model.generate(
        inputs,
        max_new_tokens=512,
        do_sample=True,
        temperature=0.7,
        top_p=0.95,
        pad_token_id=tokenizer.eos_token_id,  # Set padding token
        attention_mask=torch.ones_like(inputs)  # Add attention mask
    )

# Decode and print the response
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

✨ 主要特性

• 区域优化：Tango-70B-Instruct 在 spanish-ir/messirve 的 修改变体 上进行训练，以提高区域西班牙语的语音性能。
• 多语言支持：支持英语和西班牙语。
• 多种任务处理：可处理多种自然语言处理任务，如问答、情感分析、文本分类、摘要生成等。

📚 详细文档

模型概述

Tango-70B-Instruct 是由 sandbox-ai 训练的大型语言模型，旨在提升区域西班牙语的语音性能。更多详细信息请查看 github 仓库。

使用条款

访问此模型即表示你同意 许可证、可接受使用政策 和 Meta 的隐私政策 的 Llama 3.1 条款和条件。

评估指标

📄 许可证

本模型遵循 Llama 3.1 许可证，具体请查看 许可证。