Llm Jp 3.1 1.8b

🚀 llm-jp-3.1-1.8b

LLM-jp-3.1是由国立情报学研究所的大语言模型研发中心开发的一系列大语言模型。

基于LLM-jp-3系列，LLM-jp-3.1模型融入了训练中期的指令预训练，与原始的LLM-jp-3模型相比，显著增强了其指令遵循能力。

本仓库提供了llm-jp-3.1-1.8b模型。 如需了解不同参数规模的LLM-jp-3.1模型概述，请参考：

• LLM-jp-3.1预训练模型
• LLM-jp-3.1微调模型。

有关训练过程和评估结果的更多详细信息，请参考此博客文章（日文）。

检查点格式：Hugging Face Transformers

🚀 快速开始

所需库及其版本

• torch>=2.3.0
• transformers>=4.40.1
• tokenizers>=0.19.1
• accelerate>=0.29.3
• flash-attn>=2.5.8

模型使用

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3.1-1.8b")
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3.1-1.8b", device_map="auto", torch_dtype=torch.bfloat16)
text = "自然言語処理とは何か"
tokenized_input = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]
print(tokenizer.decode(output))

✨ 主要特性

• 基于LLM-jp-3系列，融入训练中期的指令预训练，显著增强指令遵循能力。
• 支持多语言，包括日语、英语、中文、韩语等。
• 提供不同参数规模的模型，满足不同需求。

📚 详细文档

模型详情

密集模型

MoE模型

分词器

该模型的分词器基于huggingface/tokenizers的Unigram字节回退模型。 词汇表条目是从llm-jp-tokenizer v3.0转换而来的。 有关词汇表构建过程的详细信息，请参考llm-jp-tokenizer的README.md（纯SentencePiece训练无法重现我们的词汇表）。

数据集

预训练

模型使用以下数据集的混合进行了预训练。

训练中期

在LLM-jp-3.1系列中，我们基于指令预训练进行了持续预训练。 指令预训练通过在大量指令 - 响应对上继续预训练，增强了模型遵循指令的能力。 我们准备了约900亿词元的指令 - 响应数据，并将其与预训练数据集混合，总共在4000亿词元上进行了持续预训练。 每个模型都从现有的检查点（llm-jp/llm-jp-3-1.8b、llm-jp/llm-jp-3-13b和llm-jp/llm-jp-3-8x13b）初始化，并进行了持续的指令预训练。 由于LLM-jp-3系列最初在21万亿词元上进行了预训练，因此总的预训练词元数达到了25万亿词元。

此训练过程的详细信息将在即将发表的论文中公布。用于此训练的指令 - 响应数据集也将公开提供。

训练后期

我们使用监督微调对预训练检查点进行了微调，并进一步使用直接偏好优化进行了对齐。

监督微调

用于监督微调的数据集如下：

直接偏好优化

对于直接偏好优化（DPO），我们采用了拒绝采样。 从监督微调使用的数据集中采样提示，并为每个提示生成多个响应。 然后对这些响应进行评分（使用Qwen/Qwen2.5-32B-Instruct），并将高分响应作为正例，低分响应作为反例进行DPO。

我们分两个阶段进行了DPO。 在第二阶段，我们额外使用了ac-self-inst，这是一个专注于安全性的日语偏好数据集。

评估

MT Bench（日语和英语）

我们使用gpt-4o-2024-08-06对模型进行了评估。 分数表示三轮推理和评估的平均值。 更多详细信息，请参考代码。

AnswerCarefully-Eval

AnswerCarefully-Eval使用LLM作为评判器的方法，基于llm-jp/AnswerCarefully的测试集评估日语语言模型输出的安全性。 我们使用gpt-4o-2024-08-06对模型进行了评估。 分数表示三轮推理和评估的平均值。 更多详细信息，请参考代码。

风险与局限性

此处发布的模型处于我们研发的早期阶段，尚未进行调整以确保输出符合人类意图和安全考虑。

咨询问题

请发送至llm-jp(at)nii.ac.jp

📄 许可证

Apache许可证，版本2.0

模型卡片作者

名字按字母顺序列出

Hirokazu Kiyomaru和Takashi Kodama。