Trillion 7B Preview AWQ

🚀 Trillion-7B-preview

Trillion-7B-preview是我們最新大語言模型的預覽版，旨在突破多語言可擴展性和性能的界限，為用戶提供更高效、更強大的語言處理能力。

🚀 快速開始

以下是一個使用 apply_chat_template 的代碼片段，展示瞭如何加載分詞器和模型並生成文本。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "trillionlabs/Trillion-7B-preview"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Tell me a hilarious knock knock joke."
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    model_inputs["input_ids"],
    attention_mask=model_inputs["attention_mask"],
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

"""
Sure! Here's a classic knock-knock joke that's guaranteed to make you chuckle:
Knock, knock.
Who's there?
Lettuce.
Lettuce who?
Lettuce in, it's too cold out here!
"""

✨ 主要特性

性能卓越

將Trillion-7B-preview與其他競爭模型的訓練FLOPs進行性能比較時，我們的模型推動了帕累託前沿，在使用顯著更少的計算資源（約9.3×10²² FLOPs）的情況下，實現了約66.5%的平均性能。它優於Mistral-7B-Instruct-v0.3和SOLAR-10.7B-Instruct-v1.0等模型，同時與需要3 - 8倍計算資源的模型（如Qwen2.5-7B-Instruct和EXAONE-3.5-7.8B-Instruct）保持競爭力。完整的基準測試結果見以下表格。

模型信息

📚 詳細文檔

評估指標

我們選擇了各種各樣的基準測試，以評估模型的通用推理、知識回憶、編碼能力、數學推理和指令遵循能力。我們將Trillion-7B-preview與幾個類似規模的領先大語言模型進行了評估。我們的模型在韓語基準測試中表現尤其出色。

基準測試結果

• Trillion-7B-preview
• LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct
• google/gemma-2-9b-it
• meta-llama/Llama-3.1-8B-Instruct
• Qwen/Qwen2.5-7B-Instruct
• upstage/SOLAR-10.7B-Instruct-v1.0
• mistralai/Mistral-7B-Instruct-v0.3

通用推理和事實性

編碼

數學推理

指令遵循和聊天

侷限性

• 語言支持：該模型針對英語、韓語、日語和中文進行了優化。使用其他語言可能會導致性能下降。
• 知識截止日期：模型的信息僅限於2023年8月之前可用的數據。
• 安全機制：此版本尚未包含全面的安全功能。未來的更新將解決這一領域的問題。
• 發佈狀態：這是一個初步發佈版本，計劃進行增強和更新。

許可證

此模型倉庫遵循Apache-2.0許可證。

引用

@article{trillion7Bpreview,
  title={Trillion-7B-preview},
  author={trillionlabs},
  year={2025},
  url={https://huggingface.co/trillionlabs/Trillion-7B-preview}
}

聯繫我們

如有疑問，請聯繫：info@trillionlabs.co