Trillion 7B Preview

🚀 Trillion-7B-preview

Trillion-7B-preview是一款最新的大語言模型預覽版，旨在突破多語言可擴展性和性能的界限。該模型在計算效率和性能表現上具有顯著優勢，能在多種語言任務中展現出色的效果。

模型信息展示

🚀 快速開始

以下是一個使用 apply_chat_template 的代碼片段，展示瞭如何加載分詞器和模型並生成文本。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "trillionlabs/Trillion-7B-preview"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Tell me a hilarious knock knock joke."
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    model_inputs["input_ids"],
    attention_mask=model_inputs["attention_mask"],
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

"""
Sure! Here's a classic knock-knock joke that's guaranteed to make you chuckle:
Knock, knock.
Who's there?
Lettuce.
Lettuce who?
Lettuce in, it's too cold out here!
"""

我們還支持 vLLM 集成。

vllm serve trillionlabs/Trillion-7B-preview --max-model-len 4096

✨ 主要特性

性能優勢

將 Trillion-7B-preview 與其他競爭模型在性能和訓練浮點運算次數（FLOPs）方面進行比較時，我們的模型推動了帕累託前沿，在使用顯著更少計算量（約 9.3×10²² FLOPs）的情況下，實現了約 66.5% 的平均性能。它優於 Mistral-7B-Instruct-v0.3 和 SOLAR-10.7B-Instruct-v1.0 等模型，同時與需要 3 - 8 倍計算量的模型（如 Qwen2.5-7B-Instruct 和 EXAONE-3.5-7.8B-Instruct）具有競爭力。完整的基準測試結果見下面的表格。

模型參數

📚 詳細文檔

評估設置

我們選擇了廣泛的基準測試，以評估模型的通用推理、知識回憶、編碼能力、數學推理和指令遵循能力。我們將 Trillion-7B-preview 與幾個類似規模的領先大語言模型一起進行了評估。我們的模型在韓語基準測試中表現尤為出色。

基準測試結果

• Trillion-7B-preview
• LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct
• google/gemma-2-9b-it
• meta-llama/Llama-3.1-8B-Instruct
• Qwen/Qwen2.5-7B-Instruct
• upstage/SOLAR-10.7B-Instruct-v1.0
• mistralai/Mistral-7B-Instruct-v0.3

通用推理和事實性

編碼

數學推理

指令遵循和聊天

🔧 技術細節

侷限性

• 語言支持：該模型針對英語、韓語、日語和中文進行了優化。使用其他語言可能會導致性能下降。
• 知識截止：模型的信息僅限於 2023 年 8 月之前可用的數據。
• 安全機制：此版本尚未包含全面的安全功能。未來更新將解決這一問題。
• 發佈狀態：這是一個初步發佈版本，計劃進行增強和更新。

📄 許可證

此模型倉庫遵循 Apache-2.0 許可證。

引用

@article{trillion7Bpreview,
  title={Trillion-7B-preview},
  author={trillionlabs},
  year={2025},
  url={https://huggingface.co/trillionlabs/Trillion-7B-preview}
}

@misc{han2025trillion7btechnicalreport,
      title={Trillion 7B Technical Report}, 
      author={Sungjun Han and Juyoung Suk and Suyeong An and Hyungguk Kim and Kyuseok Kim and Wonsuk Yang and Seungtaek Choi and Jamin Shin},
      year={2025},
      eprint={2504.15431},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.15431}, 
}

聯繫我們

如有疑問，請聯繫：info@trillionlabs.co