Trillion 7B Preview

🚀 Trillion-7B-preview

Trillion-7B-previewは、多言語の拡張性とパフォーマンスの限界を押し広げるように設計された最新の大規模言語モデルのプレビュー版です。このモデルは、多言語環境での高い性能を発揮し、多くの競合モデルを上回る結果を示しています。

🚀 クイックスタート

以下はapply_chat_templateを使用して、トークナイザーとモデルをロードし、テキストを生成するコードスニペットです。

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "trillionlabs/Trillion-7B-preview"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Tell me a hilarious knock knock joke."
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    model_inputs["input_ids"],
    attention_mask=model_inputs["attention_mask"],
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

"""
Sure! Here's a classic knock-knock joke that's guaranteed to make you chuckle:
Knock, knock.
Who's there?
Lettuce.
Lettuce who?
Lettuce in, it's too cold out here!
"""

また、vLLMとの統合もサポートしています。

vllm serve trillionlabs/Trillion-7B-preview --max-model-len 4096

✨ 主な機能

Trillion-7B-previewは、多言語の性能と拡張性に特化した大規模言語モデルです。以下に主な機能を示します。

• 高いパフォーマンス：多くの競合モデルを上回る平均性能を達成しています。
• 多言語対応：英語、韓国語、日本語、中国語に最適化されています。
• 柔軟なアーキテクチャ：Transformer Decoderをベースに、RoPE、SwiGLU、RMSNormを採用しています。

モデル情報

📚 ドキュメント

モデルの紹介

Trillion-7B-previewは、多言語の拡張性とパフォーマンスの限界を押し広げるように設計された最新の大規模言語モデルのプレビュー版です。このモデルは、論文 Trillion-7B-preview で発表されています。

モデルの性能をトレーニングFLOPsと比較すると、Trillion-7B-previewはパレートフロンティアを押し広げ、約66.5%の平均性能を達成しながら、大幅に少ないコンピューティングリソース（約9.3×10²² FLOPs）を使用しています。Mistral-7B-Instruct-v0.3やSOLAR-10.7B-Instruct-v1.0などのモデルを上回り、Qwen2.5-7B-InstructやEXAONE-3.5-7.8B-Instructなどの3 - 8倍のコンピューティングリソースを必要とするモデルとも競争力を持っています。完全なベンチマーク結果については、以下の表を参照してください。

評価

様々なベンチマークを選択し、一般的な推論、知識の想起、コーディング能力、数学的推論、命令の追従能力を評価しました。Trillion-7B-previewをいくつかの同規模の主要な大規模言語モデルとともに評価しました。このモデルは、特に韓国語のベンチマークで強い性能を示しています。

ベンチマーク結果

• Trillion-7B-preview
• LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct
• google/gemma-2-9b-it
• meta-llama/Llama-3.1-8B-Instruct
• Qwen/Qwen2.5-7B-Instruct
• upstage/SOLAR-10.7B-Instruct-v1.0
• mistralai/Mistral-7B-Instruct-v0.3

一般的な推論と事実性

コーディング

数学的推論

命令の追従とチャット

制限事項

⚠️ 重要提示

このモデルにはいくつかの制限があります。使用する際には、以下の点に注意してください。

• 言語サポート：モデルは英語、韓国語、日本語、中国語に最適化されています。他の言語での使用は性能が低下する可能性があります。
• 知識の期限：モデルの情報は2023年8月までのデータに限定されています。
• セーフティ機構：このリリースにはまだ包括的なセーフティ機能が含まれていません。将来のアップデートでこの問題を解決する予定です。
• リリース状況：これは予備リリース版であり、今後の機能拡張とアップデートが予定されています。

📄 ライセンス

このモデルのリポジトリは、Apache-2.0ライセンスの下で提供されています。

引用

@article{trillion7Bpreview,
  title={Trillion-7B-preview},
  author={trillionlabs},
  year={2025},
  url={https://huggingface.co/trillionlabs/Trillion-7B-preview}
}

@misc{han2025trillion7btechnicalreport,
      title={Trillion 7B Technical Report}, 
      author={Sungjun Han and Juyoung Suk and Suyeong An and Hyungguk Kim and Kyuseok Kim and Wonsuk Yang and Seungtaek Choi and Jamin Shin},
      year={2025},
      eprint={2504.15431},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.15431}, 
}

お問い合わせ

ご質問やお問い合わせは、info@trillionlabs.coにお寄せください。