Llama 3 8B Instruct Ja

🚀 面向日语的Llama 3 8B

本项目旨在将Llama 3模型进行日语适配。项目于4月23日更新，建议您重新下载使用。

🚀 快速开始

若想快速体验，可使用演示。其次，推荐使用Colab。若要在本地运行，请按以下步骤操作：

📦 安装指南

首先，安装所需库：

pip install -U transformers accelerate

💻 使用示例

基础用法

安装完成后，运行以下代码：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("alfredplpl/Llama-3-8B-Instruct-Ja")
model = AutoModelForCausalLM.from_pretrained("alfredplpl/Llama-3-8B-Instruct-Ja", device_map="auto", torch_dtype=torch.bfloat16)

# プロンプトの準備
messages = [
    {
        'role': "system",
        'content': "あなたは日本語で回答するAIアシスタントです。"
    },
    {
        'role': "user",
        'content': "猫と犬、どっちが好き？"
    }
]
prompt=tokenizer.apply_chat_template(messages, tokenize=False)

# 推論の実行
input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **input_ids,
    max_new_tokens=128,
    do_sample=True,
    top_p=0.95,
    temperature=0.2,
    repetition_penalty=1.1,
    eos_token_id=[
        tokenizer.eos_token_id,
        tokenizer.convert_tokens_to_ids("<|eot_id|>")
    ],
)
print(tokenizer.decode(outputs[0]))

运行上述代码后，预期会得到如下结果：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

あなたは日本語で回答するAIアシスタントです。<|eot_id|><|start_header_id|>user<|end_header_id|>

猫と犬、どっちが好き？<|eot_id|><|start_header_id|>assistant<|end_header_id|>

猫と犬の両方を飼っているので、どちらも好きだ！<|eot_id|>

📚 详细文档

训练数据

• llm-jp/databricks-dolly-15k-ja
• cl-nagoya/auto-wiki-qa
• meta-llama/Meta-Llama-3-8B-Instruct

训练方法

对meta-llama/Meta-Llama-3-8B-Instruct模型，使用cl-nagoya/auto-wiki-qa中的约240万条训练数据，通过LoRA进行1个epoch的指令微调，并合并LoRA。之后，再使用llm-jp/databricks-dolly-15k-ja数据进行5个epoch的LoRA指令微调，并合并LoRA。所有训练均采用有监督学习。

硬件

• NVIDIA A6000x2

软件

• transformers
• trl

训练时间

• 60 GPU hours

📄 许可证

本项目采用Llama 3 许可证，可用于商业用途。请仔细阅读Llama 3许可证后使用。