Sarashina2 13b

🚀 Sarashina2-13B

本倉庫提供由 SB Intuitions 訓練的大語言模型。

🚀 快速開始

本項目提供了由 SB Intuitions 訓練的大語言模型。下面將介紹如何使用這些模型。

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed
 
model = AutoModelForCausalLM.from_pretrained("sbintuitions/sarashina2-13b", torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina2-13b")
# If you want to use slow tokenizer
# tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina2-13b", use_fast=False）
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
set_seed(123)
 
text = generator(
    "おはようございます、今日の天気は",
    max_length=30,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
    num_return_sequences=3,
)

for t in text:
  print(t)
 

📚 詳細文檔

模型配置

訓練語料

對於日語訓練數據，我們使用了最大的網絡語料庫 Common Crawl 語料庫 中的日語部分作為訓練數據集。為了清理訓練語料，我們使用了 CCNet 和 HojiChar。清理後，我們的日語訓練數據包含約 1T 個令牌。

對於英語訓練數據，我們從 SlimPajama 中提取英語文檔，但由於版權問題，我們移除了 books3 語料庫。

分詞處理

我們使用帶有一元語言模型和字節回退的 sentencepiece 分詞器。我們不使用日語分詞器進行預分詞，因此用戶可以直接將原始句子輸入到分詞器中。

倫理考量與侷限性

Sarashina2 尚未針對遵循指令進行調優。因此，Sarashina2 可能會生成一些無意義的序列、不準確的實例或有偏差/令人反感的輸出。在使用 Sarashina2 之前，我們希望開發者根據人類偏好和安全考慮對模型進行調優。

📄 許可證

本項目採用 MIT 許可證。