Stockmark 2 100B Instruct Beta

🚀 Stockmark-2-100B-Instruct-beta

Stockmark-2-100B-Instruct-betaは、特に日本語に焦点を当てて構築された1000億パラメータの大規模言語モデルです。このモデルは、約1.5兆トークンのデータで事前学習されており、そのデータ構成は英語が60%、日本語が30%、コードが10%です。事前学習の後、Qwen2.5-32B-Instructを用いて生成された日本語の合成データで追加学習を行い、指示に沿った応答能力を強化しています。

ベータ版として、Stockmark-2-100B-Instruct-betaはまだ改善と評価の段階にあります。ユーザーからのフィードバックと洞察は、将来のバージョンの改良に役立ちます。

詳細についてはブログ記事をご覧ください。

このプロジェクトはGENIACによって支援されています。

🚀 クイックスタート

このセクションでは、Stockmark-2-100B-Instruct-betaを使用するための基本的な手順を説明します。

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("stockmark/Stockmark-2-100B-Instruct-beta")
model = AutoModelForCausalLM.from_pretrained(
    "stockmark/Stockmark-2-100B-Instruct-beta", device_map="auto", torch_dtype=torch.bfloat16
)

instruction = "自然言語処理とは？"
input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": instruction}], add_generation_prompt=True, return_tensors="pt"
).to(model.device)

with torch.inference_mode():
    tokens = model.generate(
        input_ids,
        max_new_tokens = 512,
        do_sample = True,
        temperature = 0.7,
        top_p = 0.95,
        repetition_penalty = 1.05
    )
    
output = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(output)

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

開発者

Stockmark Inc.

作者

Takahiro Omi