Llama VARCO 8B Instruct

🚀 Llama-VARCO-8B-Instruct

Llama-VARCO-8B-Instruct是一个基于Llama构建的生成式模型，通过额外的训练，它在韩语处理方面表现出色。该模型使用韩语和英语数据集进行持续预训练，在增强韩语理解和生成能力的同时，也保持了其在英语方面的熟练程度。它还在韩语上进行了监督微调（SFT）和直接偏好优化（DPO），以符合人类偏好。

🚀 快速开始

我们建议使用transformers v4.43.0或更高版本，这也是Llama-3.1所建议的版本。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model = AutoModelForCausalLM.from_pretrained(
    "NCSOFT/Llama-VARCO-8B-Instruct",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("NCSOFT/Llama-VARCO-8B-Instruct")

messages = [
    {"role": "system", "content": "You are a helpful assistant Varco. Respond accurately and diligently according to the user's instructions."},
    {"role": "user", "content": "안녕하세요."}
]

inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)

eos_token_id = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    inputs,
    eos_token_id=eos_token_id,
    max_length=8192
)

print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 多语言支持：支持韩语和英语两种语言，在两种语言上都有出色的表现。
• 持续预训练：使用韩语和英语数据集进行持续预训练，增强了模型在韩语上的理解和生成能力。
• 符合人类偏好：通过监督微调（SFT）和直接偏好优化（DPO），使模型输出更符合人类偏好。

📦 安装指南

文档中未提及具体的安装步骤，可参考上述快速开始部分的代码示例，确保使用transformers v4.43.0或更高版本。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model = AutoModelForCausalLM.from_pretrained(
    "NCSOFT/Llama-VARCO-8B-Instruct",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("NCSOFT/Llama-VARCO-8B-Instruct")

messages = [
    {"role": "system", "content": "You are a helpful assistant Varco. Respond accurately and diligently according to the user's instructions."},
    {"role": "user", "content": "안녕하세요."}
]

inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)

eos_token_id = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    inputs,
    eos_token_id=eos_token_id,
    max_length=8192
)

print(tokenizer.decode(outputs[0]))

高级用法

文档中未提及高级用法的相关代码，可根据实际需求对基础用法的代码进行扩展。

📚 详细文档

关于模型

• 开发者：NC Research, Language Model Team
• 支持语言：韩语、英语
• 许可证：LLAMA 3.1 COMMUNITY LICENSE AGREEMENT
• 基础模型：meta-llama/Meta-Llama-3.1-8B

评估

我们使用LogicKor代码来衡量模型性能。对于评判模型，我们使用了官方推荐的gpt-4-1106-preview。分数仅包括默认提供的0-shot评估。

📄 许可证

本模型使用LLAMA 3.1 COMMUNITY LICENSE AGREEMENT许可证。