Llm Jp 3.1 13b Instruct4

🚀 llm-jp-3.1-13b-instruct4

LLM-jp-3.1是由國立情報學研究所的大語言模型研發中心開發的一系列大語言模型。該系列模型在LLM-jp-3的基礎上，加入了訓練中期的指令預訓練，與原始的LLM-jp-3模型相比，其遵循指令的能力得到了顯著提升。本倉庫提供了llm-jp-3.1-13b-instruct4模型。

🚀 快速開始

本模型的檢查點格式為Hugging Face Transformers。若要使用該模型，你需要安裝以下依賴庫，同時請確保使用對應版本：

• torch>=2.3.0
• transformers>=4.40.1
• tokenizers>=0.19.1
• accelerate>=0.29.3
• flash-attn>=2.5.8

以下是使用該模型的示例代碼：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3.1-13b-instruct4")
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3.1-13b-instruct4", device_map="auto", torch_dtype=torch.bfloat16)
chat = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "自然言語処理とは何か"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]
print(tokenizer.decode(output))

✨ 主要特性

• 指令遵循能力強：通過訓練中期的指令預訓練，顯著提升了模型遵循指令的能力。
• 多語言支持：支持日語、英語等多種語言。
• 多架構選擇：提供了不同參數規模的密集模型和MoE模型。

📦 安裝指南

你可以使用以下命令安裝所需的依賴庫：

pip install torch>=2.3.0 transformers>=4.40.1 tokenizers>=0.19.1 accelerate>=0.29.3 flash-attn>=2.5.8

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3.1-13b-instruct4")
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3.1-13b-instruct4", device_map="auto", torch_dtype=torch.bfloat16)
chat = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "自然言語処理とは何か"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]
print(tokenizer.decode(output))

📚 詳細文檔

模型詳情

密集模型

MoE模型

分詞器

該模型的分詞器基於huggingface/tokenizers的Unigram字節回退模型。詞彙表條目是從llm-jp-tokenizer v3.0轉換而來的。有關詞彙表構建過程的詳細信息，請參考llm-jp-tokenizer的README.md（純SentencePiece訓練無法重現我們的詞彙表）。

數據集

預訓練

模型使用了以下數據集的混合進行預訓練：

訓練中期

在LLM-jp-3.1系列中，我們基於指令預訓練進行了持續預訓練。指令預訓練通過在大量指令 - 響應對上繼續預訓練，增強了模型遵循指令的能力。我們準備了約900億詞元的指令 - 響應數據，並將其與預訓練數據集混合，總共在4000億詞元上進行了持續預訓練。每個模型都從現有的檢查點（llm-jp/llm-jp-3-1.8b、llm-jp/llm-jp-3-13b和llm-jp/llm-jp-3-8x13b）初始化，並進行了持續的指令預訓練。由於LLM-jp-3系列最初在21萬億詞元上進行了預訓練，因此總預訓練詞元數達到了25萬億詞元。

此訓練過程的詳細信息將在即將發表的論文中發佈。用於此訓練的指令 - 響應數據集也將公開提供。

訓練後期

我們使用監督微調對預訓練檢查點進行了微調，並進一步使用直接偏好優化進行了對齊。

監督微調

用於監督微調的數據集如下：

直接偏好優化

對於直接偏好優化（DPO），我們採用了拒絕採樣。從監督微調中使用的數據集中採樣提示，併為每個提示生成多個響應。然後對這些響應進行評分（由Qwen/Qwen2.5-32B-Instruct），並將高分響應視為正例，低分響應視為負例進行DPO。

我們分兩個階段進行DPO。在第二階段，我們額外使用了ac-self-inst，這是一個專注於安全性的日語偏好數據集。

評估

MT Bench（日語和英語）

我們使用gpt-4o-2024-08-06對模型進行了評估。分數表示三輪推理和評估的平均值。更多詳細信息，請參考代碼。

AnswerCarefully-Eval

AnswerCarefully-Eval使用基於大語言模型評判的方法，根據llm-jp/AnswerCarefully的測試集評估日語語言模型輸出的安全性。我們使用gpt-4o-2024-08-06對模型進行了評估。分數表示三輪推理和評估的平均值。更多詳細信息，請參考代碼。

🔧 技術細節

本模型基於Transformer架構，通過指令預訓練、監督微調、直接偏好優化等技術，提升了模型的指令遵循能力和安全性。具體的訓練過程和技術細節將在後續的論文中詳細介紹。

📄 許可證

本模型採用Apache License, Version 2.0許可證。

其他信息

風險和侷限性

此處發佈的模型處於我們研發的早期階段，尚未進行調整以確保輸出符合人類意圖和安全考慮。

諮詢問題

如有任何問題，請發送郵件至llm-jp(at)nii.ac.jp。

模型卡片作者

（姓名按字母順序排列）Hirokazu Kiyomaru和Takashi Kodama。