Stockmark 13b

🚀 stockmark/stockmark-13b

Stockmark-13bは、約2200億トークンの日本語コーパスに基づいてゼロから事前学習された130億パラメータの大規模言語モデル（LLM）です。このモデルはStockmark Inc.によって開発されています。

詳細については、弊社のブログをご覧ください。

このプロジェクトはAWS LLM開発サポートプログラムによって支援されています。

また、stockmark-13b-instructも提供しており、これはstockmark-13bの命令微調整版です。

🚀 クイックスタート

Stockmark-13bを使い始める方法を説明します。

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# For A100 or H100 GPU
model = AutoModelForCausalLM.from_pretrained("stockmark/stockmark-13b", device_map="auto", torch_dtype=torch.bfloat16)

# If you use a T4 or V100 GPU, please load a model in 8 bit with the below code.
# To do so, you need to install `bitsandbytes` via `pip install bitsandbytes`.
# model = AutoModelForCausalLM.from_pretrained("stockmark/stockmark-13b", device_map={"": 0}, load_in_8bit=True)

tokenizer = AutoTokenizer.from_pretrained("stockmark/stockmark-13b")

inputs = tokenizer("自然言語処理とは", return_tensors="pt").to(model.device)
with torch.no_grad():
    tokens = model.generate(
        **inputs,
        max_new_tokens=128,
        do_sample=True,
        temperature=0.7
    )
    
output = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(output)

その他の使用例

• LoRA微調整: https://huggingface.co/stockmark/stockmark-13b/blob/main/notebooks/LoRA.ipynb

📚 ドキュメント

学習データセット

合計約2200億トークンの日本語コーパスを使用しています。

アクセラレータとライブラリ

• アクセラレータ: AWS Trainium
  • https://aws.amazon.com/machine-learning/trainium/
• 分散学習用ライブラリ: neuronx-nemo-megatron
  • https://github.com/aws-neuron/neuronx-nemo-megatron

📄 ライセンス

MIT

開発元

Stockmark Inc.

作者

Takahiro Omi