Llama 3 8B Instruct Ja

🚀 面向日語的Llama 3 8B

本項目旨在將Llama 3模型進行日語適配。項目於4月23日更新，建議您重新下載使用。

🚀 快速開始

若想快速體驗，可使用演示。其次，推薦使用Colab。若要在本地運行，請按以下步驟操作：

📦 安裝指南

首先，安裝所需庫：

pip install -U transformers accelerate

💻 使用示例

基礎用法

安裝完成後，運行以下代碼：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("alfredplpl/Llama-3-8B-Instruct-Ja")
model = AutoModelForCausalLM.from_pretrained("alfredplpl/Llama-3-8B-Instruct-Ja", device_map="auto", torch_dtype=torch.bfloat16)

# プロンプトの準備
messages = [
    {
        'role': "system",
        'content': "あなたは日本語で回答するAIアシスタントです。"
    },
    {
        'role': "user",
        'content': "貓と犬、どっちが好き？"
    }
]
prompt=tokenizer.apply_chat_template(messages, tokenize=False)

# 推論の実行
input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **input_ids,
    max_new_tokens=128,
    do_sample=True,
    top_p=0.95,
    temperature=0.2,
    repetition_penalty=1.1,
    eos_token_id=[
        tokenizer.eos_token_id,
        tokenizer.convert_tokens_to_ids("<|eot_id|>")
    ],
)
print(tokenizer.decode(outputs[0]))

運行上述代碼後，預期會得到如下結果：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

あなたは日本語で回答するAIアシスタントです。<|eot_id|><|start_header_id|>user<|end_header_id|>

貓と犬、どっちが好き？<|eot_id|><|start_header_id|>assistant<|end_header_id|>

貓と犬の両方を飼っているので、どちらも好きだ！<|eot_id|>

📚 詳細文檔

訓練數據

• llm-jp/databricks-dolly-15k-ja
• cl-nagoya/auto-wiki-qa
• meta-llama/Meta-Llama-3-8B-Instruct

訓練方法

對meta-llama/Meta-Llama-3-8B-Instruct模型，使用cl-nagoya/auto-wiki-qa中的約240萬條訓練數據，通過LoRA進行1個epoch的指令微調，併合並LoRA。之後，再使用llm-jp/databricks-dolly-15k-ja數據進行5個epoch的LoRA指令微調，併合並LoRA。所有訓練均採用有監督學習。

硬件

• NVIDIA A6000x2

軟件

• transformers
• trl

訓練時間

• 60 GPU hours

📄 許可證

本項目採用Llama 3 許可證，可用於商業用途。請仔細閱讀Llama 3許可證後使用。