Tri 21B

🚀 Tri-21B大語言模型

Tri-21B是一款旗艦級大語言模型，它重新定義了大語言模型訓練的效率邊界。僅使用2T訓練令牌，該模型便達到了最先進的性能，證明了卓越的能力並不一定需要大量的計算資源。

🚀 快速開始

以下是一個使用apply_chat_template的代碼片段，展示瞭如何加載分詞器和模型並生成文本。

Tri-21B使用示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "trillionlabs/Tri-21B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Explain the concept of quantum computing in simple terms."
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

vLLM, SGLang部署

Tri-21B也支持使用 vLLM 和 SGLang 進行部署！

# vLLM
vllm serve trillionlabs/Tri-21B --dtype bfloat16 --max-model-len 8192

# vLLM自定義選項
vllm serve trillionlabs/Tri-21B \
    --dtype bfloat16 \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.95 \
    --port 8000

# SGLang
python3 -m sglang.launch_server --model-path trillionlabs/Tri-21B --dtype bfloat16

# SGLang自定義選項
python3 -m sglang.launch_server \
    --model-path trillionlabs/Tri-21B \
    --dtype bfloat16 \
    --context-length 8192 \
    --port 30000 \
    --host 0.0.0.0

✨ 主要特性

• 前所未有的訓練效率：僅使用2T令牌進行訓練，遠少於同類模型，同時在MMLU/KMMLU/Global MMLU基準測試中實現了70.3%的平均準確率。
• 突破帕累託邊界：僅需2.95E+23 FLOPs，Tri-21B的性能便超過了那些需要2 - 10倍計算資源的模型，為高效擴展樹立了新的標準。
• 增強推理能力：對訓練數據集進行了優化，專門提升推理能力。
• 先進的後訓練：顯著改進了強化學習訓練流程，專注於數學推理和日常使用。
• 多語言支持：針對韓語、英語和日語進行了特別優化。

📦 模型規格

Tri-21B

📚 訓練效率分析

我們的訓練效率方法在該領域樹立了新的標杆。以下對比展示了Tri-21B與其他類似規模的先進模型相比，如何在每個FLOP上實現更優的性能：

¹ MMLU / KMMLU / Global MMLU (ja) 的平均值
² 相對於Tri-21B的每FLOP性能

這種效率突破使組織能夠在沒有傳統計算障礙的情況下部署先進的語言模型，使更多人能夠使用先進的人工智能能力。

📚 評估

我們在一系列綜合基準測試中對Tri-21B進行了評估，這些測試涵蓋了一般推理、知識回憶、編碼能力、數學推理和指令遵循能力。我們將我們的模型與類似規模的最先進模型Gemmma-3-IT-27B和Qwen3-32B進行了比較，以展示其具有競爭力的性能。

基準測試結果

參與比較的模型：

• Tri-21B：我們的旗艦210億參數模型
• Qwen3-32B：Qwen的320億參數模型
• Gemma3-IT-27B：谷歌的Gemma 3指令微調270億參數模型

一般推理和事實性

編碼

數學推理

指令遵循和聊天

基礎模型評估

下表顯示了Tri-21B基礎模型（指令微調前）在關鍵基準測試中的性能：

🔧 模型侷限

• 語言支持：該模型針對英語、韓語和日語進行了優化。使用其他語言可能會導致性能下降。
• 知識截止日期：模型的信息僅限於2025年2月之前可用的數據。

📄 許可證

此模型倉庫遵循Trillion許可證。

📞 聯繫我們

如有疑問，請聯繫：info@trillionlabs.co