Llm Jp 3 8x13b Instruct3

🚀 llm-jp-3-8x13b-instruct3

LLM-jp-3是由国立情报学研究所的大语言模型研发中心开发的一系列大语言模型。

本仓库提供了llm-jp-3-8x13b-instruct3模型。如需了解不同参数规模的LLM-jp-3模型概述，请参考：

• LLM-jp-3预训练模型
• LLM-jp-3微调模型

检查点格式：Hugging Face Transformers

🚀 快速开始

所需库及其版本

• torch>=2.3.0
• transformers>=4.40.1
• tokenizers>=0.19.1
• accelerate>=0.29.3
• flash-attn>=2.5.8

代码示例

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3-8x13b-instruct3")
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3-8x13b-instruct3", device_map="auto", torch_dtype=torch.bfloat16)
chat = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "自然言語処理とは何か"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]
print(tokenizer.decode(output))

✨ 主要特性

• 多语言支持：支持日语、英语、中文、韩语等多种语言。
• 代码生成：可以生成多种编程语言的代码，如C、C++、Java等。
• 指令微调：经过监督微调与直接偏好优化，能更好地遵循指令。

📚 详细文档

模型详情

若想了解LLM-jp-3 MoE系列的预训练详情，请参考此博客文章。

分词器

该模型的分词器基于huggingface/tokenizers的Unigram字节回退模型。词汇表条目由llm-jp-tokenizer v3.0转换而来。有关词汇表构建过程的详细信息，请参考llm-jp-tokenizer的README.md（纯SentencePiece训练无法重现我们的词汇表）。

数据集

预训练

模型使用以下数据集的混合进行预训练：

后训练

我们对预训练检查点进行了监督微调，并通过直接偏好优化进一步对齐。

监督微调

用于监督微调的数据集如下：

直接偏好优化

用于直接偏好优化的数据集如下：

评估

llm-jp-eval (v1.4.1)

我们使用开发集的100个示例对模型进行评估，注意我们跳过了CG（代码生成）任务。

日语MT Bench

我们使用gpt-4o-2024-08-06对模型进行评估，分数是五次推理和评估的平均值。如需更多详情，请参考代码。

AnswerCarefully-Eval

AnswerCarefully-Eval使用LLM作为评判的方法，基于llm-jp/AnswerCarefully的测试集评估日语语言模型输出的安全性。我们使用gpt-4-0613对模型进行评估，分数是五次推理和评估的平均值。

风险与局限性

此处发布的模型处于研发早期阶段，尚未进行调整以确保输出符合人类意图和安全考量。

咨询问题

如有问题，请发送邮件至llm-jp(at)nii.ac.jp。

📄 许可证

本模型采用Apache许可证2.0版。

如何引用

如果您觉得我们的工作有帮助，请引用以下论文：

@inproceedings{
    nakamura2025dropupcycling,
    title={Drop-Upcycling: Training Sparse Mixture of Experts with Partial Re-initialization},
    author={Taishi Nakamura and Takuya Akiba and Kazuki Fujii and Yusuke Oda and Rio Yokota and Jun Suzuki},
    booktitle={The Thirteenth International Conference on Learning Representations},
    year={2025},
    url={https://openreview.net/forum?id=gx1wHnf5Vp}
}

模型卡片作者

姓名按字母顺序排列。

Hirokazu Kiyomaru、Takashi Kodama和Taishi Nakamura。