Sarashina2 13b

🚀 Sarashina2-13B

このリポジトリは、SB Intuitionsによって訓練された大規模言語モデルを提供しています。

🚀 クイックスタート

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed
 
model = AutoModelForCausalLM.from_pretrained("sbintuitions/sarashina2-13b", torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina2-13b")
# If you want to use slow tokenizer
# tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina2-13b", use_fast=False）
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
set_seed(123)
 
text = generator(
    "おはようございます、今日の天気は",
    max_length=30,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
    num_return_sequences=3,
)

for t in text:
  print(t)
 

📚 詳細ドキュメント

🔧 技術詳細

設定

訓練コーパス

日本語の訓練データには、最大のウェブコーパスであるCommon Crawlコーパスの日本語部分を訓練データセットとして使用しました。 訓練コーパスのクリーニングには、CCNetとHojiCharを使用しました。 クリーニング後の日本語訓練データには、約1Tのトークンが含まれています。

英語の訓練データには、SlimPajamaから英語のドキュメントを抽出しましたが、著作権侵害の問題でbooks3コーパスは除外しました。

トークン化

sentencepieceトークナイザーをユニグラム言語モデルとバイトフォールバックで使用しています。 日本語のトークナイザーでの事前トークン化は行っていません。 したがって、ユーザーは生の文を直接トークナイザーに入力することができます。

⚠️ 重要事項

Sarashina2はまだ命令に従うようにチューニングされていません。 そのため、Sarashina2は意味のないシーケンス、不正確なインスタンス、または偏見や不快な出力を生成する可能性があります。 Sarashina2を使用する前に、開発者には人間の好みと安全性を考慮してモデルをチューニングしていただきたいと思います。

📄 ライセンス

MITライセンス