Trillion 7B Preview

🚀 Trillion-7B-preview

Trillion-7B-preview是一款最新的大语言模型预览版，旨在突破多语言可扩展性和性能的界限。该模型在计算效率和性能表现上具有显著优势，能在多种语言任务中展现出色的效果。

模型信息展示

🚀 快速开始

以下是一个使用 apply_chat_template 的代码片段，展示了如何加载分词器和模型并生成文本。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "trillionlabs/Trillion-7B-preview"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Tell me a hilarious knock knock joke."
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    model_inputs["input_ids"],
    attention_mask=model_inputs["attention_mask"],
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

"""
Sure! Here's a classic knock-knock joke that's guaranteed to make you chuckle:
Knock, knock.
Who's there?
Lettuce.
Lettuce who?
Lettuce in, it's too cold out here!
"""

我们还支持 vLLM 集成。

vllm serve trillionlabs/Trillion-7B-preview --max-model-len 4096

✨ 主要特性

性能优势

将 Trillion-7B-preview 与其他竞争模型在性能和训练浮点运算次数（FLOPs）方面进行比较时，我们的模型推动了帕累托前沿，在使用显著更少计算量（约 9.3×10²² FLOPs）的情况下，实现了约 66.5% 的平均性能。它优于 Mistral-7B-Instruct-v0.3 和 SOLAR-10.7B-Instruct-v1.0 等模型，同时与需要 3 - 8 倍计算量的模型（如 Qwen2.5-7B-Instruct 和 EXAONE-3.5-7.8B-Instruct）具有竞争力。完整的基准测试结果见下面的表格。

模型参数

📚 详细文档

评估设置

我们选择了广泛的基准测试，以评估模型的通用推理、知识回忆、编码能力、数学推理和指令遵循能力。我们将 Trillion-7B-preview 与几个类似规模的领先大语言模型一起进行了评估。我们的模型在韩语基准测试中表现尤为出色。

基准测试结果

• Trillion-7B-preview
• LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct
• google/gemma-2-9b-it
• meta-llama/Llama-3.1-8B-Instruct
• Qwen/Qwen2.5-7B-Instruct
• upstage/SOLAR-10.7B-Instruct-v1.0
• mistralai/Mistral-7B-Instruct-v0.3

通用推理和事实性

编码

数学推理

指令遵循和聊天

🔧 技术细节

局限性

• 语言支持：该模型针对英语、韩语、日语和中文进行了优化。使用其他语言可能会导致性能下降。
• 知识截止：模型的信息仅限于 2023 年 8 月之前可用的数据。
• 安全机制：此版本尚未包含全面的安全功能。未来更新将解决这一问题。
• 发布状态：这是一个初步发布版本，计划进行增强和更新。

📄 许可证

此模型仓库遵循 Apache-2.0 许可证。

引用

@article{trillion7Bpreview,
  title={Trillion-7B-preview},
  author={trillionlabs},
  year={2025},
  url={https://huggingface.co/trillionlabs/Trillion-7B-preview}
}

@misc{han2025trillion7btechnicalreport,
      title={Trillion 7B Technical Report}, 
      author={Sungjun Han and Juyoung Suk and Suyeong An and Hyungguk Kim and Kyuseok Kim and Wonsuk Yang and Seungtaek Choi and Jamin Shin},
      year={2025},
      eprint={2504.15431},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.15431}, 
}

联系我们

如有疑问，请联系：info@trillionlabs.co