Xgen Small 9B Instruct R

🚀 xGen-smallファミリーへようこそ！

xGen-small (ブログ, arXiv) は、エンタープライズ向けのコンパクトな言語モデルです。ドメイン特化のデータキュレーション、スケーラブルな事前学習、長文対応機能、強化学習による微調整を組み合わせることで、予測可能な低コストで長文コンテキストの性能を実現します。 このモデルのリリースは研究目的のみを対象としています。

🚀 クイックスタート

xGen-smallは、企業向けに最適化されたコンパクトな言語モデルで、低コストで長文コンテキストの高性能を提供します。

✨ 主な機能

• ドメイン特化のデータキュレーションにより、特定の分野での性能向上。
• スケーラブルな事前学習と長文対応機能で、長いコンテキストでの処理が可能。
• 強化学習による微調整で、より良い応答を生成。

📦 モデルシリーズ

xGen-small は、2つのサイズ（4Bと9B）と2つのバリエーション（事前学習済みと事後学習済み）で提供されます。

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Salesforce/xgen-small-9B-instruct-r"
tokenizer = AutoTokenizer.from_pretrained(model_name)
device = "cuda" if torch.cuda.is_available() else "cpu"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto"
).to(device)

prompt = "What is Salesforce?"
messages = [{"role": "user", "content": prompt}]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

generated = model.generate(inputs, max_new_tokens=128)
output = tokenizer.decode(
    generated[0],
    skip_special_tokens=True,
)
print(output)

📚 評価

xGen-smallの性能を他のモデルと比較した結果を以下に示します。

📚 引用

@misc{xgensmall,
      title={xGen-small Technical Report}, 
      author={Erik Nijkamp and Bo Pang and Egor Pakhomov and Akash Gokul and Jin Qu and Silvio Savarese and Yingbo Zhou and Caiming Xiong},
      year={2025},
      eprint={2505.06496},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.06496}, 
}

🔧 倫理的な考慮事項

このリリースは学術論文のサポートを目的とした研究用です。当社のモデル、データセット、コードは、すべての下流の目的に特に設計または評価されていません。ユーザーは、このモデルをデプロイする前に、精度、安全性、公平性に関する潜在的な懸念事項を評価し、対処することを強くお勧めします。ユーザーは、AIの一般的な制限事項を考慮し、適用される法律に準拠し、特にエラーや誤用が人々の生活、権利、または安全に重大な影響を与える可能性のある高リスクシナリオのユースケースを選択する際には、ベストプラクティスを活用することをお勧めします。ユースケースに関する詳細なガイダンスについては、当社のAUPおよびAI AUPを参照してください。

📄 ライセンス

これらのモデルはCC-BY-NC-4.0の下でリリースされており、著作権は © Salesforce, Inc. です。全権利留保。