Tri 21B

🚀 Tri-21B

Tri-21Bは、LLMトレーニングにおける効率の限界を再定義する、当社の主力大規模言語モデルです。わずか2Tのトレーニングトークンで最先端の性能を達成することで、卓越した機能を実現するために過度の計算リソースは必要ないことを実証しています。

🚀 クイックスタート

以下はapply_chat_templateを使用して、トークナイザーとモデルをロードし、テキストを生成する方法を示すコードスニペットです。

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "trillionlabs/Tri-21B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Explain the concept of quantum computing in simple terms."
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

高度な使用法

Tri-21Bは、vLLM と SGLang でも利用可能です！

# vLLM
vllm serve trillionlabs/Tri-21B --dtype bfloat16 --max-model-len 8192

# vLLM with custom options
vllm serve trillionlabs/Tri-21B \
    --dtype bfloat16 \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.95 \
    --port 8000

# SGLang
python3 -m sglang.launch_server --model-path trillionlabs/Tri-21B --dtype bfloat16

# SGLang with custom options
python3 -m sglang.launch_server \
    --model-path trillionlabs/Tri-21B \
    --dtype bfloat16 \
    --context-length 8192 \
    --port 30000 \
    --host 0.0.0.0

✨ 主な機能

• 前代未聞のトレーニング効率：2Tのトークンでトレーニングされており、同等のモデルよりも大幅に少ないトークンで、MMLU/KMMLU/Global MMLUベンチマーク全体で70.3%の平均精度を達成しています。
• パレートフロンティアの拡大：わずか2.95E+23 FLOPsで、2～10倍の計算量を必要とするモデルを上回り、効率的なスケーリングの新しい基準を設定しています。
• 強化された推論能力：推論能力を特に最適化するために、トレーニングデータセットの混合を変更しています。
• 高度な事後トレーニング：数学的推論と日常的な使用に焦点を当てたRLトレーニングパイプラインを大幅に改善しています。
• 多言語対応：韓国語、英語、日本語に特に最適化されています。

📦 インストール

このセクションでは、vLLMとSGLangを使用したTri-21Bのデプロイ方法を説明します。

vLLMを使用したデプロイ

# vLLM
vllm serve trillionlabs/Tri-21B --dtype bfloat16 --max-model-len 8192

# vLLM with custom options
vllm serve trillionlabs/Tri-21B \
    --dtype bfloat16 \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.95 \
    --port 8000

SGLangを使用したデプロイ

# SGLang
python3 -m sglang.launch_server --model-path trillionlabs/Tri-21B --dtype bfloat16

# SGLang with custom options
python3 -m sglang.launch_server \
    --model-path trillionlabs/Tri-21B \
    --dtype bfloat16 \
    --context-length 8192 \
    --port 30000 \
    --host 0.0.0.0

📚 ドキュメント

モデル仕様

トレーニング効率分析

当社のトレーニング効率に対するアプローチは、この分野で新しい基準を設定しています。以下の比較は、Tri-21Bが同規模の他の最先端モデルと比較して、FLOPあたりの優れたパフォーマンスを達成していることを示しています。

¹ MMLU / KMMLU / Global MMLU (ja)の平均
² Tri-21Bに対するFLOPあたりのパフォーマンス

この効率の突破により、組織は従来の計算上の障壁なしに最先端の言語モデルを展開することができ、高度なAI機能へのアクセスを民主化しています。

評価

Tri-21Bは、一般的な推論、知識の想起、コーディング能力、数学的推論、および命令追従能力を評価する包括的なベンチマークセットで評価されています。同規模の最先端モデルであるGemmma-3-IT-27BとQwen3-32Bと比較することで、その競争力のあるパフォーマンスを実証しています。

ベンチマーク結果

比較対象のモデル:

• Tri-21B：当社の主力21Bパラメータモデル
• Qwen3-32B：Qwenの32Bパラメータモデル
• Gemma3-IT-27B：GoogleのGemma 3命令調整済み27Bモデル

一般的な推論と事実性

コーディング

数学的推論

命令追従とチャット

ベースモデル評価

以下の表は、Tri-21Bベースモデル（命令調整前）の主要ベンチマークでのパフォーマンスを示しています。

🔧 技術詳細

Tri-21Bは、RoPE、SwiGLU、RMSNorm、GQAを備えたTransformerデコーダーアーキテクチャを採用しています。このアーキテクチャは、推論能力や多言語対応などの機能を強化するために最適化されています。また、トレーニングデータセットの混合を変更し、数学的推論と日常的な使用に焦点を当てたRLトレーニングパイプラインを改善することで、モデルの性能を向上させています。

📄 ライセンス

このモデルリポジトリは、Trillion Licenseの下でライセンスされています。

制限事項

⚠️ 重要提示

このモデルは英語、韓国語、日本語に最適化されています。他の言語で使用すると、性能が低下する可能性があります。また、モデルの情報は2025年2月までに利用可能なデータに限定されています。

お問い合わせ

ご質問やお問い合わせは、info@trillionlabs.coまでお送りください。