Sarashina2 7b

🚀 更紗2-7B大語言模型

本倉庫提供由 SB Intuitions 訓練的大語言模型。

🚀 快速開始

代碼示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed
 
model = AutoModelForCausalLM.from_pretrained("sbintuitions/sarashina2-7b", torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina2-7b")
# If you want to use slow tokenizer
# tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina2-7b", use_fast=False）
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
set_seed(123)
 
text = generator(
    "おはようございます、今日の天気は",
    max_length=30,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
    num_return_sequences=3,
)

for t in text:
  print(t)
 
# These examples are generated by sarashina2-7b parameters model
# {'generated_text': 'おはようございます、今日の天気は晴れです。ちょっと風が強い。\n昨日は、久しぶりにゆっくりとしていました。\n2週間位間があいてしまったかも、でもその間に'}
# {'generated_text': 'おはようございます、今日の天気は曇。朝は曇っていてどんよりしていましたね。晝からは晴れそうですが。気溫は徐々に上昇しています。昨日は春らしい陽気でした。'}
# {'generated_text': 'おはようございます、今日の天気はくもり、少し寒気がします。 この土日に、家族で一泊二日で旅行に行ってきました。といっても、100キロ'}

📚 詳細文檔

模型參數配置

訓練語料

• 日語訓練數據：使用了最大的網絡語料庫 Common Crawl語料庫 中的日語部分作為訓練數據集。為了清理訓練語料，使用了 CCNet 和 HojiChar。清理後，日語訓練數據約包含1T個token。
• 英語訓練數據：從 SlimPajama 中提取英語文檔，但由於版權問題移除了 books3 語料庫。

分詞處理

使用帶有一元語言模型和字節回退的 sentencepiece 分詞器，不使用日語分詞器進行預分詞，用戶可以直接將原始句子輸入到分詞器中。

倫理考量與侷限性

更紗2（Sarashina2）尚未針對指令遵循進行微調。因此，它可能會生成一些無意義的序列、不準確的內容或有偏見/令人反感的輸出。在使用更紗2之前，我們希望開發者基於人類偏好和安全考慮對模型進行微調。

📄 許可證

本項目採用 MIT許可證。