Sarashina2 7b

🚀 更纱2-7B大语言模型

本仓库提供由 SB Intuitions 训练的大语言模型。

🚀 快速开始

代码示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed
 
model = AutoModelForCausalLM.from_pretrained("sbintuitions/sarashina2-7b", torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina2-7b")
# If you want to use slow tokenizer
# tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina2-7b", use_fast=False）
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
set_seed(123)
 
text = generator(
    "おはようございます、今日の天気は",
    max_length=30,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
    num_return_sequences=3,
)

for t in text:
  print(t)
 
# These examples are generated by sarashina2-7b parameters model
# {'generated_text': 'おはようございます、今日の天気は晴れです。ちょっと風が強い。\n昨日は、久しぶりにゆっくりとしていました。\n2週間位間があいてしまったかも、でもその間に'}
# {'generated_text': 'おはようございます、今日の天気は曇。朝は曇っていてどんよりしていましたね。昼からは晴れそうですが。気温は徐々に上昇しています。昨日は春らしい陽気でした。'}
# {'generated_text': 'おはようございます、今日の天気はくもり、少し寒気がします。 この土日に、家族で一泊二日で旅行に行ってきました。といっても、100キロ'}

📚 详细文档

模型参数配置

训练语料

• 日语训练数据：使用了最大的网络语料库 Common Crawl语料库 中的日语部分作为训练数据集。为了清理训练语料，使用了 CCNet 和 HojiChar。清理后，日语训练数据约包含1T个token。
• 英语训练数据：从 SlimPajama 中提取英语文档，但由于版权问题移除了 books3 语料库。

分词处理

使用带有一元语言模型和字节回退的 sentencepiece 分词器，不使用日语分词器进行预分词，用户可以直接将原始句子输入到分词器中。

伦理考量与局限性

更纱2（Sarashina2）尚未针对指令遵循进行微调。因此，它可能会生成一些无意义的序列、不准确的内容或有偏见/令人反感的输出。在使用更纱2之前，我们希望开发者基于人类偏好和安全考虑对模型进行微调。

📄 许可证

本项目采用 MIT许可证。