Stockmark 2 100B Instruct Beta

🚀 Stockmark-2-100B-Instruct-beta

Stockmark-2-100B-Instruct-beta 是一款從頭開始構建的擁有 1000 億參數的大語言模型，尤其專注於日語處理。它在約 1.5 萬億個標記的數據上進行了預訓練，其中 60% 為英文數據，30% 為日文數據，10% 為代碼數據。預訓練後，該模型使用由 Qwen2.5 - 32B - Instruct 生成的日語合成數據進行了後訓練，以增強其遵循指令的能力。

🚀 快速開始

本項目支持多語言，包括日語和英語。下面將為你介紹如何使用這個模型。

✨ 主要特性

• 大規模參數：擁有 1000 億參數，具備強大的語言理解和生成能力。
• 多語言支持：在英文、日文和代碼數據上進行預訓練，尤其專注於日語處理。
• 指令遵循能力：通過使用合成數據進行後訓練，增強了遵循指令的能力。

📦 安裝指南

文檔中未提及具體安裝步驟，若有需要可參考相關庫的官方文檔進行安裝，如 transformers 庫可使用 pip install transformers 進行安裝。

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("stockmark/Stockmark-2-100B-Instruct-beta")
model = AutoModelForCausalLM.from_pretrained(
    "stockmark/Stockmark-2-100B-Instruct-beta", device_map="auto", torch_dtype=torch.bfloat16
)

instruction = "自然言語処理とは？"
input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": instruction}], add_generation_prompt=True, return_tensors="pt"
).to(model.device)

with torch.inference_mode():
    tokens = model.generate(
        input_ids,
        max_new_tokens = 512,
        do_sample = True,
        temperature = 0.7,
        top_p = 0.95,
        repetition_penalty = 1.05
    )
    
output = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(output)

📚 詳細文檔

• 模型詳情：作為一個測試版發佈，Stockmark - 2 - 100B - Instruct - beta 仍在不斷改進和評估中。用戶的反饋和見解將有助於完善未來的版本。更多詳細信息請查看 我們的博客。
• 項目支持：本項目由 GENIAC 提供支持。

📄 許可證

本項目採用 MIT 許可證。

開發團隊

本項目由 Stockmark Inc. 開發。

作者

Takahiro Omi