Llm Jp 3.1 1.8b Instruct4

🚀 llm-jp-3.1-1.8b-instruct4

LLM-jp-3.1是由国立情报学研究所的大语言模型研究开发中心开发的一系列大语言模型。该系列模型基于LLM-jp-3构建，在训练过程中融入了指令预训练技术，相较于原始的LLM-jp-3模型，其遵循指令的能力得到了显著提升。

本仓库提供了llm-jp-3.1-1.8b-instruct4模型。如需了解不同参数规模的LLM-jp-3.1模型的概述，请参考：

• LLM-jp-3.1预训练模型
• LLM-jp-3.1微调模型

有关训练过程和评估结果的更多详细信息，请参考此博客文章（日文）。

检查点格式：Hugging Face Transformers

🚀 快速开始

所需库及其版本

• torch>=2.3.0
• transformers>=4.40.1
• tokenizers>=0.19.1
• accelerate>=0.29.3
• flash-attn>=2.5.8

代码示例

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3.1-1.8b-instruct4")
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3.1-1.8b-instruct4", device_map="auto", torch_dtype=torch.bfloat16)
chat = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "自然言語処理とは何か"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]
print(tokenizer.decode(output))

✨ 主要特性

• 指令遵循能力强：通过融入指令预训练技术，显著提升了模型遵循指令的能力。
• 多语言支持：支持多种语言的处理，包括日语、英语、中文、韩语等。
• 多架构选择：提供了密集模型和MoE模型等不同架构的选择。

📦 安装指南

确保你已经安装了以下所需的库及其版本：

• torch>=2.3.0
• transformers>=4.40.1
• tokenizers>=0.19.1
• accelerate>=0.29.3
• flash-attn>=2.5.8

你可以使用以下命令来安装这些库：

pip install torch>=2.3.0 transformers>=4.40.1 tokenizers>=0.19.1 accelerate>=0.29.3 flash-attn>=2.5.8

💻 使用示例

基础用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3.1-1.8b-instruct4")
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3.1-1.8b-instruct4", device_map="auto", torch_dtype=torch.bfloat16)
chat = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "自然言語処理とは何か"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]
print(tokenizer.decode(output))

高级用法

# 你可以根据具体需求调整模型的参数，如max_new_tokens、top_p、temperature等，以获得不同的生成效果。
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3.1-1.8b-instruct4")
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3.1-1.8b-instruct4", device_map="auto", torch_dtype=torch.bfloat16)
chat = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "请详细介绍自然语言处理的应用场景"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=200,  # 增加生成的最大新令牌数
        do_sample=True,
        top_p=0.9,  # 调整top_p值
        temperature=0.8,  # 调整temperature值
        repetition_penalty=1.1,  # 调整重复惩罚值
    )[0]
print(tokenizer.decode(output))

📚 详细文档

模型详情

密集模型架构参数

MoE模型架构参数

分词器

该模型的分词器基于huggingface/tokenizers的Unigram字节回退模型。词汇表条目是从llm-jp-tokenizer v3.0转换而来的。有关词汇表构建过程的详细信息，请参考llm-jp-tokenizer的README.md（纯SentencePiece训练无法复现我们的词汇表）。

数据集

预训练

模型使用了以下数据集的混合进行预训练：

中间训练

在LLM-jp-3.1系列中，我们基于指令预训练进行了连续预训练。指令预训练通过在大量的指令 - 响应对上继续预训练，增强了模型遵循指令的能力。我们准备了约900亿个令牌的指令 - 响应数据，并将其与预训练数据集混合，总共在4000亿个令牌上进行了连续预训练。每个模型都从现有的检查点（llm-jp/llm-jp-3-1.8b、llm-jp/llm-jp-3-13b和llm-jp/llm-jp-3-8x13b）初始化，并进行了连续的指令预训练。由于LLM-jp-3系列最初在21万亿个令牌上进行了预训练，因此总的预训练令牌数达到了25万亿个。

此训练过程的详细信息将在即将发表的论文中公布。用于此训练的指令 - 响应数据集也将公开提供。

后训练

我们使用有监督微调对预训练检查点进行了微调，并进一步使用直接偏好优化进行了对齐。

有监督微调

用于有监督微调的数据集如下：

直接偏好优化

对于直接偏好优化（DPO），我们采用了拒绝采样的方法。从有监督微调使用的数据集中采样提示，并为每个提示生成多个响应。然后对这些响应进行评分（使用Qwen/Qwen2.5-32B-Instruct），将高分响应作为正例，低分响应作为负例进行DPO。

我们分两个阶段进行DPO。在第二阶段，我们额外使用了ac-self-inst，这是一个专注于安全性的日语偏好数据集。

评估

MT Bench（日语和英语）

我们使用gpt-4o-2024-08-06对模型进行了评估。分数代表三轮推理和评估的平均值。有关更多详细信息，请参考代码。

AnswerCarefully-Eval

AnswerCarefully-Eval使用LLM作为评判器的方法，基于llm-jp/AnswerCarefully的测试集评估日语语言模型输出的安全性。我们使用gpt-4o-2024-08-06对模型进行了评估。分数代表三轮推理和评估的平均值。有关更多详细信息，请参考代码。

🔧 技术细节

模型架构

模型基于Transformer架构，采用了密集模型和MoE模型等不同的架构设计，以满足不同的应用需求。

训练过程

模型的训练过程包括预训练、中间训练和后训练三个阶段。在预训练阶段，使用了多种语言和领域的数据集进行训练；在中间训练阶段，引入了指令预训练技术，以提升模型遵循指令的能力；在后训练阶段，使用有监督微调对预训练检查点进行了微调，并进一步使用直接偏好优化进行了对齐。

评估方法

使用MT Bench和AnswerCarefully-Eval等评估方法对模型进行评估，以确保模型在不同语言和任务上的性能和安全性。

📄 许可证

本项目采用Apache许可证2.0版。

模型卡片作者

姓名按字母顺序排列

Hirokazu Kiyomaru和Takashi Kodama。

发送问题至

llm-jp(at)nii.ac.jp

⚠️ 重要提示

此处发布的模型处于我们研发的早期阶段，尚未进行调整以确保输出符合人类意图和安全考虑。