許可證：Apache-2.0
語言：

• 英文
• 日文

編程語言：

• C
• C++
• C#
• Go
• Java
• JavaScript
• Lua
• PHP
• Python
• Ruby
• Rust
• Scala
• TypeScript

任務標籤：文本生成
庫名稱：transformers
推理支持：否

llm-jp-3-13b

本倉庫提供由國立信息學研究所大型語言模型研發中心開發的大語言模型。

開發工作部分由GENIAC項目支持。

模型格式：Hugging Face Transformers

依賴庫及版本要求

• torch>=2.3.0
• transformers>=4.40.1
• tokenizers>=0.19.1
• accelerate>=0.29.3
• flash-attn>=2.5.8

使用示例

import torch  
from transformers import AutoTokenizer, AutoModelForCausalLM  
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3-13b")  
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3-13b", device_map="auto", torch_dtype=torch.bfloat16)  
text = "什麼是自然語言處理"  
tokenized_input = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt").to(model.device)  
with torch.no_grad():  
    output = model.generate(  
        tokenized_input,  
        max_new_tokens=100,  
        do_sample=True,  
        top_p=0.95,  
        temperature=0.7,  
        repetition_penalty=1.05,  
    )[0]  
print(tokenizer.decode(output))  

模型詳情

• 模型類型： 基於Transformer的語言模型
• 總訓練token數： 2.1萬億

分詞器

本模型分詞器基於huggingface/tokenizers的Unigram字節回退模型，詞表條目轉換自llm-jp-tokenizer v3.0。關於詞表構建流程的詳細信息請參閱llm-jp-tokenizer的README（純SentencePiece訓練無法復現我們的詞表）。

數據集

預訓練

模型使用以下混合數據集進行預訓練：

指令調優

模型在以下數據集上進行微調：

評估

llm-jp-eval (v1.3.1)

使用開發集100個樣本進行評估：