Stockmark 13b

🚀 stockmark/stockmark-13b

Stockmark-13b是一個擁有130億參數的大語言模型（LLM），它基於約2200億日語語料標記從頭開始預訓練。該模型由Stockmark Inc.開發。

如需瞭解更多詳情，請查看我們的博客。

本項目得到了AWS大語言模型開發支持計劃的支持。

我們還提供了stockmark-13b-instruct，它是stockmark-13b的指令微調版本。

🚀 快速開始

以下是使用該模型的基本步驟和代碼示例。

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# For A100 or H100 GPU
model = AutoModelForCausalLM.from_pretrained("stockmark/stockmark-13b", device_map="auto", torch_dtype=torch.bfloat16)

# If you use a T4 or V100 GPU, please load a model in 8 bit with the below code.
# To do so, you need to install `bitsandbytes` via `pip install bitsandbytes`.
# model = AutoModelForCausalLM.from_pretrained("stockmark/stockmark-13b", device_map={"": 0}, load_in_8bit=True)

tokenizer = AutoTokenizer.from_pretrained("stockmark/stockmark-13b")

inputs = tokenizer("自然言語処理とは", return_tensors="pt").to(model.device)
with torch.no_grad():
    tokens = model.generate(
        **inputs,
        max_new_tokens=128,
        do_sample=True,
        temperature=0.7
    )
    
output = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(output)

示例鏈接

• LoRA微調示例：https://huggingface.co/stockmark/stockmark-13b/blob/main/notebooks/LoRA.ipynb

📚 詳細文檔

訓練數據集

我們使用了總計約2200億日語語料標記進行訓練。

加速器和庫

• 加速器：AWS Trainium
  • https://aws.amazon.com/machine-learning/trainium/
• 分佈式訓練庫：neuronx - nemo - megatron
  • https://github.com/aws - neuron/neuronx - nemo - megatron

📄 許可證

MIT

開發者

Stockmark Inc.

作者

Takahiro Omi