Xgen Small 9B Instruct R

🚀 xGen-small家族欢迎您！

xGen-small (博客, arXiv) 是一款适用于企业的紧凑型大语言模型，它结合了领域聚焦的数据筛选、可扩展的预训练、长度扩展和强化学习微调等技术，能够以可预测的低成本实现长上下文处理能力。 本次模型发布仅用于研究目的。

✨ 主要特性

模型系列

xGen-small 有两种规模（40亿和90亿参数）和两种变体（预训练和后训练）：

💻 使用示例

基础用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Salesforce/xgen-small-9B-instruct-r"
tokenizer = AutoTokenizer.from_pretrained(model_name)
device = "cuda" if torch.cuda.is_available() else "cpu"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto"
).to(device)

prompt = "What is Salesforce?"
messages = [{"role": "user", "content": prompt}]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

generated = model.generate(inputs, max_new_tokens=128)
output = tokenizer.decode(
    generated[0],
    skip_special_tokens=True,
)
print(output)

🔧 技术细节

评估结果

引用信息

@misc{xgensmall,
      title={xGen-small Technical Report}, 
      author={Erik Nijkamp and Bo Pang and Egor Pakhomov and Akash Gokul and Jin Qu and Silvio Savarese and Yingbo Zhou and Caiming Xiong},
      year={2025},
      eprint={2505.06496},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.06496}, 
}

📄 许可证

本模型采用CC-BY-NC-4.0许可证发布，版权所有 © Salesforce, Inc. 保留所有权利。

⚠️ 重要提示

本次发布仅用于支持学术论文的研究目的。我们的模型、数据集和代码并非专门为所有下游应用而设计或评估。我们强烈建议用户在部署此模型之前，评估并解决与准确性、安全性和公平性相关的潜在问题。我们鼓励用户考虑人工智能的常见局限性，遵守适用法律，并在选择用例时采用最佳实践，特别是在高风险场景中，错误或滥用可能会对人们的生活、权利或安全产生重大影响。有关用例的更多指导，请参考我们的使用协议和人工智能使用协议。