Llm Jp 3 8x13b Instruct3

🚀 llm-jp-3-8x13b-instruct3

LLM-jp-3是由國立情報學研究所的大語言模型研發中心開發的一系列大語言模型。

本倉庫提供了llm-jp-3-8x13b-instruct3模型。如需瞭解不同參數規模的LLM-jp-3模型概述，請參考：

• LLM-jp-3預訓練模型
• LLM-jp-3微調模型

檢查點格式：Hugging Face Transformers

🚀 快速開始

所需庫及其版本

• torch>=2.3.0
• transformers>=4.40.1
• tokenizers>=0.19.1
• accelerate>=0.29.3
• flash-attn>=2.5.8

代碼示例

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3-8x13b-instruct3")
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3-8x13b-instruct3", device_map="auto", torch_dtype=torch.bfloat16)
chat = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "自然言語処理とは何か"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]
print(tokenizer.decode(output))

✨ 主要特性

• 多語言支持：支持日語、英語、中文、韓語等多種語言。
• 代碼生成：可以生成多種編程語言的代碼，如C、C++、Java等。
• 指令微調：經過監督微調與直接偏好優化，能更好地遵循指令。

📚 詳細文檔

模型詳情

若想了解LLM-jp-3 MoE系列的預訓練詳情，請參考此博客文章。

分詞器

該模型的分詞器基於huggingface/tokenizers的Unigram字節回退模型。詞彙表條目由llm-jp-tokenizer v3.0轉換而來。有關詞彙表構建過程的詳細信息，請參考llm-jp-tokenizer的README.md（純SentencePiece訓練無法重現我們的詞彙表）。

數據集

預訓練

模型使用以下數據集的混合進行預訓練：

後訓練

我們對預訓練檢查點進行了監督微調，並通過直接偏好優化進一步對齊。

監督微調

用於監督微調的數據集如下：

直接偏好優化

用於直接偏好優化的數據集如下：

評估

llm-jp-eval (v1.4.1)

我們使用開發集的100個示例對模型進行評估，注意我們跳過了CG（代碼生成）任務。

日語MT Bench

我們使用gpt-4o-2024-08-06對模型進行評估，分數是五次推理和評估的平均值。如需更多詳情，請參考代碼。

AnswerCarefully-Eval

AnswerCarefully-Eval使用LLM作為評判的方法，基於llm-jp/AnswerCarefully的測試集評估日語語言模型輸出的安全性。我們使用gpt-4-0613對模型進行評估，分數是五次推理和評估的平均值。

風險與侷限性

此處發佈的模型處於研發早期階段，尚未進行調整以確保輸出符合人類意圖和安全考量。

諮詢問題

如有問題，請發送郵件至llm-jp(at)nii.ac.jp。

📄 許可證

本模型採用Apache許可證2.0版。

如何引用

如果您覺得我們的工作有幫助，請引用以下論文：

@inproceedings{
    nakamura2025dropupcycling,
    title={Drop-Upcycling: Training Sparse Mixture of Experts with Partial Re-initialization},
    author={Taishi Nakamura and Takuya Akiba and Kazuki Fujii and Yusuke Oda and Rio Yokota and Jun Suzuki},
    booktitle={The Thirteenth International Conference on Learning Representations},
    year={2025},
    url={https://openreview.net/forum?id=gx1wHnf5Vp}
}

模型卡片作者

姓名按字母順序排列。

Hirokazu Kiyomaru、Takashi Kodama和Taishi Nakamura。