Llm Jp 3.1 1.8b Instruct4

🚀 llm-jp-3.1-1.8b-instruct4

LLM-jp-3.1是由國立情報學研究所的大語言模型研究開發中心開發的一系列大語言模型。該系列模型基於LLM-jp-3構建，在訓練過程中融入了指令預訓練技術，相較於原始的LLM-jp-3模型，其遵循指令的能力得到了顯著提升。

本倉庫提供了llm-jp-3.1-1.8b-instruct4模型。如需瞭解不同參數規模的LLM-jp-3.1模型的概述，請參考：

• LLM-jp-3.1預訓練模型
• LLM-jp-3.1微調模型

有關訓練過程和評估結果的更多詳細信息，請參考此博客文章（日文）。

檢查點格式：Hugging Face Transformers

🚀 快速開始

所需庫及其版本

• torch>=2.3.0
• transformers>=4.40.1
• tokenizers>=0.19.1
• accelerate>=0.29.3
• flash-attn>=2.5.8

代碼示例

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3.1-1.8b-instruct4")
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3.1-1.8b-instruct4", device_map="auto", torch_dtype=torch.bfloat16)
chat = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "自然言語処理とは何か"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]
print(tokenizer.decode(output))

✨ 主要特性

• 指令遵循能力強：通過融入指令預訓練技術，顯著提升了模型遵循指令的能力。
• 多語言支持：支持多種語言的處理，包括日語、英語、中文、韓語等。
• 多架構選擇：提供了密集模型和MoE模型等不同架構的選擇。

📦 安裝指南

確保你已經安裝了以下所需的庫及其版本：

• torch>=2.3.0
• transformers>=4.40.1
• tokenizers>=0.19.1
• accelerate>=0.29.3
• flash-attn>=2.5.8

你可以使用以下命令來安裝這些庫：

pip install torch>=2.3.0 transformers>=4.40.1 tokenizers>=0.19.1 accelerate>=0.29.3 flash-attn>=2.5.8

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3.1-1.8b-instruct4")
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3.1-1.8b-instruct4", device_map="auto", torch_dtype=torch.bfloat16)
chat = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "自然言語処理とは何か"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]
print(tokenizer.decode(output))

高級用法

# 你可以根據具體需求調整模型的參數，如max_new_tokens、top_p、temperature等，以獲得不同的生成效果。
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3.1-1.8b-instruct4")
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3.1-1.8b-instruct4", device_map="auto", torch_dtype=torch.bfloat16)
chat = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "請詳細介紹自然語言處理的應用場景"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=200,  # 增加生成的最大新令牌數
        do_sample=True,
        top_p=0.9,  # 調整top_p值
        temperature=0.8,  # 調整temperature值
        repetition_penalty=1.1,  # 調整重複懲罰值
    )[0]
print(tokenizer.decode(output))

📚 詳細文檔

模型詳情

密集模型架構參數

MoE模型架構參數

分詞器

該模型的分詞器基於huggingface/tokenizers的Unigram字節回退模型。詞彙表條目是從llm-jp-tokenizer v3.0轉換而來的。有關詞彙表構建過程的詳細信息，請參考llm-jp-tokenizer的README.md（純SentencePiece訓練無法復現我們的詞彙表）。

數據集

預訓練

模型使用了以下數據集的混合進行預訓練：

中間訓練

在LLM-jp-3.1系列中，我們基於指令預訓練進行了連續預訓練。指令預訓練通過在大量的指令 - 響應對上繼續預訓練，增強了模型遵循指令的能力。我們準備了約900億個令牌的指令 - 響應數據，並將其與預訓練數據集混合，總共在4000億個令牌上進行了連續預訓練。每個模型都從現有的檢查點（llm-jp/llm-jp-3-1.8b、llm-jp/llm-jp-3-13b和llm-jp/llm-jp-3-8x13b）初始化，並進行了連續的指令預訓練。由於LLM-jp-3系列最初在21萬億個令牌上進行了預訓練，因此總的預訓練令牌數達到了25萬億個。

此訓練過程的詳細信息將在即將發表的論文中公佈。用於此訓練的指令 - 響應數據集也將公開提供。

後訓練

我們使用有監督微調對預訓練檢查點進行了微調，並進一步使用直接偏好優化進行了對齊。

有監督微調

用於有監督微調的數據集如下：

直接偏好優化

對於直接偏好優化（DPO），我們採用了拒絕採樣的方法。從有監督微調使用的數據集中採樣提示，併為每個提示生成多個響應。然後對這些響應進行評分（使用Qwen/Qwen2.5-32B-Instruct），將高分響應作為正例，低分響應作為負例進行DPO。

我們分兩個階段進行DPO。在第二階段，我們額外使用了ac-self-inst，這是一個專注於安全性的日語偏好數據集。

評估

MT Bench（日語和英語）

我們使用gpt-4o-2024-08-06對模型進行了評估。分數代表三輪推理和評估的平均值。有關更多詳細信息，請參考代碼。

AnswerCarefully-Eval

AnswerCarefully-Eval使用LLM作為評判器的方法，基於llm-jp/AnswerCarefully的測試集評估日語語言模型輸出的安全性。我們使用gpt-4o-2024-08-06對模型進行了評估。分數代表三輪推理和評估的平均值。有關更多詳細信息，請參考代碼。

🔧 技術細節

模型架構

模型基於Transformer架構，採用了密集模型和MoE模型等不同的架構設計，以滿足不同的應用需求。

訓練過程

模型的訓練過程包括預訓練、中間訓練和後訓練三個階段。在預訓練階段，使用了多種語言和領域的數據集進行訓練；在中間訓練階段，引入了指令預訓練技術，以提升模型遵循指令的能力；在後訓練階段，使用有監督微調對預訓練檢查點進行了微調，並進一步使用直接偏好優化進行了對齊。

評估方法

使用MT Bench和AnswerCarefully-Eval等評估方法對模型進行評估，以確保模型在不同語言和任務上的性能和安全性。

📄 許可證

本項目採用Apache許可證2.0版。

模型卡片作者

姓名按字母順序排列

Hirokazu Kiyomaru和Takashi Kodama。

發送問題至

llm-jp(at)nii.ac.jp

⚠️ 重要提示

此處發佈的模型處於我們研發的早期階段，尚未進行調整以確保輸出符合人類意圖和安全考慮。