Tri 21B

🚀 Tri-21B大语言模型

Tri-21B是一款旗舰级大语言模型，它重新定义了大语言模型训练的效率边界。仅使用2T训练令牌，该模型便达到了最先进的性能，证明了卓越的能力并不一定需要大量的计算资源。

🚀 快速开始

以下是一个使用apply_chat_template的代码片段，展示了如何加载分词器和模型并生成文本。

Tri-21B使用示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "trillionlabs/Tri-21B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Explain the concept of quantum computing in simple terms."
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

vLLM, SGLang部署

Tri-21B也支持使用 vLLM 和 SGLang 进行部署！

# vLLM
vllm serve trillionlabs/Tri-21B --dtype bfloat16 --max-model-len 8192

# vLLM自定义选项
vllm serve trillionlabs/Tri-21B \
    --dtype bfloat16 \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.95 \
    --port 8000

# SGLang
python3 -m sglang.launch_server --model-path trillionlabs/Tri-21B --dtype bfloat16

# SGLang自定义选项
python3 -m sglang.launch_server \
    --model-path trillionlabs/Tri-21B \
    --dtype bfloat16 \
    --context-length 8192 \
    --port 30000 \
    --host 0.0.0.0

✨ 主要特性

• 前所未有的训练效率：仅使用2T令牌进行训练，远少于同类模型，同时在MMLU/KMMLU/Global MMLU基准测试中实现了70.3%的平均准确率。
• 突破帕累托边界：仅需2.95E+23 FLOPs，Tri-21B的性能便超过了那些需要2 - 10倍计算资源的模型，为高效扩展树立了新的标准。
• 增强推理能力：对训练数据集进行了优化，专门提升推理能力。
• 先进的后训练：显著改进了强化学习训练流程，专注于数学推理和日常使用。
• 多语言支持：针对韩语、英语和日语进行了特别优化。

📦 模型规格

Tri-21B

📚 训练效率分析

我们的训练效率方法在该领域树立了新的标杆。以下对比展示了Tri-21B与其他类似规模的先进模型相比，如何在每个FLOP上实现更优的性能：

¹ MMLU / KMMLU / Global MMLU (ja) 的平均值
² 相对于Tri-21B的每FLOP性能

这种效率突破使组织能够在没有传统计算障碍的情况下部署先进的语言模型，使更多人能够使用先进的人工智能能力。

📚 评估

我们在一系列综合基准测试中对Tri-21B进行了评估，这些测试涵盖了一般推理、知识回忆、编码能力、数学推理和指令遵循能力。我们将我们的模型与类似规模的最先进模型Gemmma-3-IT-27B和Qwen3-32B进行了比较，以展示其具有竞争力的性能。

基准测试结果

参与比较的模型：

• Tri-21B：我们的旗舰210亿参数模型
• Qwen3-32B：Qwen的320亿参数模型
• Gemma3-IT-27B：谷歌的Gemma 3指令微调270亿参数模型

一般推理和事实性

编码

数学推理

指令遵循和聊天

基础模型评估

下表显示了Tri-21B基础模型（指令微调前）在关键基准测试中的性能：

🔧 模型局限

• 语言支持：该模型针对英语、韩语和日语进行了优化。使用其他语言可能会导致性能下降。
• 知识截止日期：模型的信息仅限于2025年2月之前可用的数据。

📄 许可证

此模型仓库遵循Trillion许可证。

📞 联系我们

如有疑问，请联系：info@trillionlabs.co