Llama 3.1 Tango 70b Bnb 4b

🚀 Tango-70B-Instruct 大語言模型

Tango-70B-Instruct 是一款大型語言模型，旨在提升西班牙語區域的語言表現。它基於特定數據集訓練，能在多種自然語言處理任務中展現出良好性能。

🚀 快速開始

你可以使用 HuggingFace Transformers 庫來使用該模型。運行此模型需要 2 個或更多 80GB 的 GPU（NVIDIA Ampere 或更新版本），並且至少需要 150GB 的可用磁盤空間來完成下載。

此代碼已在 Transformers v4.44.0、torch v2.4.0 和 2 個 A100 80GB GPU 上進行了測試。任何支持 meta-llama/Llama-3.1-70B-Instruct 的設置也應該支持此模型。如果你遇到問題，可以考慮執行 pip install -U transformers。

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
import torch

# Load base model and tokenizer
base_model_id = "nvidia/Llama-3.1-Nemotron-70B-Instruct-HF"
adapter_model_id = "sandbox-ai/Tango-70b"

# Create quantization config for 4-bit precision
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_use_double_quant=True,
)

# Load tokenizer from base model
tokenizer = AutoTokenizer.from_pretrained(base_model_id)

# Load the base model with 4-bit quantization
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    quantization_config=bnb_config,
    device_map="auto",  # This will automatically handle model sharding
    trust_remote_code=True
)

# Load the PEFT adapter
model = PeftModel.from_pretrained(
    base_model,
    adapter_model_id,
    device_map="auto",  # This will automatically handle model sharding
)

hola_mundo = """
Bienvenido. 
Tu nombre es "Tango", sos la primer IA hecha en LatinoAmérica, basada en un Large Language Model de 70 billones de parámetros y creada en Argentina. 

Cuál es la importancia de hacer IA nativa en LatinoAmérica? qué beneficios trae haberte creado, en comparación a depender de las IAs creadas en USA, Francia o China?

"""

# Test prompt
messages = [
    {"role": "user", "content": hola_mundo}
]

# Format the input using the chat template
inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

# Generate response with memory-efficient settings
with torch.inference_mode():
    outputs = model.generate(
        inputs,
        max_new_tokens=512,
        do_sample=True,
        temperature=0.7,
        top_p=0.95,
        pad_token_id=tokenizer.eos_token_id,  # Set padding token
        attention_mask=torch.ones_like(inputs)  # Add attention mask
    )

# Decode and print the response
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

✨ 主要特性

• 區域優化：Tango-70B-Instruct 在 spanish-ir/messirve 的 修改變體 上進行訓練，以提高區域西班牙語的語音性能。
• 多語言支持：支持英語和西班牙語。
• 多種任務處理：可處理多種自然語言處理任務，如問答、情感分析、文本分類、摘要生成等。

📚 詳細文檔

模型概述

Tango-70B-Instruct 是由 sandbox-ai 訓練的大型語言模型，旨在提升區域西班牙語的語音性能。更多詳細信息請查看 github 倉庫。

使用條款

訪問此模型即表示你同意 許可證、可接受使用政策 和 Meta 的隱私政策 的 Llama 3.1 條款和條件。

評估指標

📄 許可證

本模型遵循 Llama 3.1 許可證，具體請查看 許可證。