Sarashina2 7b

🚀 サラシナ2-7B

このリポジトリは、SB Intuitionsによって学習された大規模言語モデルを提供しています。

🚀 クイックスタート

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed
 
model = AutoModelForCausalLM.from_pretrained("sbintuitions/sarashina2-7b", torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina2-7b")
# If you want to use slow tokenizer
# tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina2-7b", use_fast=False）
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
set_seed(123)
 
text = generator(
    "おはようございます、今日の天気は",
    max_length=30,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
    num_return_sequences=3,
)

for t in text:
  print(t)
 
# These examples are generated by sarashina2-7b parameters model
# {'generated_text': 'おはようございます、今日の天気は晴れです。ちょっと風が強い。\n昨日は、久しぶりにゆっくりとしていました。\n2週間位間があいてしまったかも、でもその間に'}
# {'generated_text': 'おはようございます、今日の天気は曇。朝は曇っていてどんよりしていましたね。昼からは晴れそうですが。気温は徐々に上昇しています。昨日は春らしい陽気でした。'}
# {'generated_text': 'おはようございます、今日の天気はくもり、少し寒気がします。 この土日に、家族で一泊二日で旅行に行ってきました。といっても、100キロ'}

📚 ドキュメント

設定

学習コーパス

日本語の学習データには、最大のWebコーパスであるCommon Crawlコーパスの日本語部分を学習データセットとして使用しました。 学習コーパスをクリーニングするために、CCNetとHojiCharを使用しました。 クリーニング後、日本語の学習データには約1Tのトークンが含まれています。

英語の学習データには、SlimPajamaから英語の文書を抽出しましたが、著作権侵害のためbooks3コーパスは除外しました。

トークナイゼーション

ユニグラム言語モデルとバイトフォールバックを使用したsentencepieceトークナイザーを使用しています。 日本語トークナイザーを使用した事前トークナイゼーションは適用していません。 したがって、ユーザーは生の文を直接トークナイザーに入力することができます。

倫理的な考慮事項と制限事項

サラシナ2はまだ命令に従うようにチューニングされていません。 そのため、サラシナ2は意味のないシーケンス、不正確な事例、または偏った/不快な出力を生成する可能性があります。 サラシナ2を使用する前に、開発者には人間の好みと安全性を考慮してモデルをチューニングしていただきたいと思います。

📄 ライセンス

MITライセンス