Stockmark 13b Instruct

🚀 Stockmark-13b-instruct

Stockmark-13b-instruct は Stockmark-13b を指令微調整したバージョンです。Stockmark-13b は130億のパラメータを持つ日本語大規模言語モデルで、Stockmark Inc. によって開発されました。

このモデルの指令微調整には、Project of Development of Japanese Instruction data for LLM（2023年11月3日版）のデータを使用しています。

詳細な情報については、ブログ をご覧ください。

🚀 クイックスタート

使い方

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("stockmark/stockmark-13b-instruct", device_map="auto", torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained("stockmark/stockmark-13b-instruct")

instruction = "自然言語処理とは？"

prompt = f"""### Input:
{instruction}

### Output:
"""

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
    tokens = model.generate(
        **inputs,
        max_new_tokens=128,
        do_sample=True,
        temperature=0.7
    )
    
output = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(output)

📦 訓練データセット

Project of Development of Japanese Instruction data for LLM

📄 ライセンス

MIT

👨‍💻 開発者

Stockmark Inc.

👨‍🎓 著者

Takahiro Omi