Llama VARCO 8B Instruct

🚀 Llama-VARCO-8B-Instruct

Llama-VARCO-8B-Instructは、Llamaをベースに構築された生成モデルです。追加の学習を行うことで、韓国語での性能を向上させるように特別に設計されています。このモデルは、韓国語と英語のデータセットを用いた継続的な事前学習を行い、韓国語の理解と生成能力を高めると同時に、英語の能力も維持しています。また、韓国語での教師付き微調整（SFT）と直接的な嗜好最適化（DPO）を行い、人間の嗜好に合わせています。

🚀 クイックスタート

モデルに関する情報

• 開発者: NC Research, Language Model Team
• 言語 (NLP): 韓国語、英語
• ライセンス: LLAMA 3.1 COMMUNITY LICENSE AGREEMENT
• ベースモデル: meta-llama/Meta-Llama-3.1-8B

利用方法

直接利用

Llama-3.1で推奨されているように、transformers v4.43.0以上を使用することをおすすめします。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model = AutoModelForCausalLM.from_pretrained(
    "NCSOFT/Llama-VARCO-8B-Instruct",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("NCSOFT/Llama-VARCO-8B-Instruct")

messages = [
    {"role": "system", "content": "You are a helpful assistant Varco. Respond accurately and diligently according to the user's instructions."},
    {"role": "user", "content": "안녕하세요."}
]

inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)

eos_token_id = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    inputs,
    eos_token_id=eos_token_id,
    max_length=8192
)

print(tokenizer.decode(outputs[0]))

評価

LogicKor

LogicKorのコードを使用して性能を測定しました。判定モデルには、公式で推奨されているgpt-4-1106-previewを使用しました。スコアは、デフォルトで提供される0-shot評価のみを含んでいます。

📄 ライセンス

このモデルはLLAMA 3.1 COMMUNITY LICENSE AGREEMENTの下で提供されています。