Xgen Small 9B Instruct R

🚀 xGen-small家族歡迎您！

xGen-small (博客, arXiv) 是一款適用於企業的緊湊型大語言模型，它結合了領域聚焦的數據篩選、可擴展的預訓練、長度擴展和強化學習微調等技術，能夠以可預測的低成本實現長上下文處理能力。 本次模型發佈僅用於研究目的。

✨ 主要特性

模型系列

xGen-small 有兩種規模（40億和90億參數）和兩種變體（預訓練和後訓練）：

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Salesforce/xgen-small-9B-instruct-r"
tokenizer = AutoTokenizer.from_pretrained(model_name)
device = "cuda" if torch.cuda.is_available() else "cpu"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto"
).to(device)

prompt = "What is Salesforce?"
messages = [{"role": "user", "content": prompt}]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

generated = model.generate(inputs, max_new_tokens=128)
output = tokenizer.decode(
    generated[0],
    skip_special_tokens=True,
)
print(output)

🔧 技術細節

評估結果

引用信息

@misc{xgensmall,
      title={xGen-small Technical Report}, 
      author={Erik Nijkamp and Bo Pang and Egor Pakhomov and Akash Gokul and Jin Qu and Silvio Savarese and Yingbo Zhou and Caiming Xiong},
      year={2025},
      eprint={2505.06496},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.06496}, 
}

📄 許可證

本模型採用CC-BY-NC-4.0許可證發佈，版權所有 © Salesforce, Inc. 保留所有權利。

⚠️ 重要提示

本次發佈僅用於支持學術論文的研究目的。我們的模型、數據集和代碼並非專門為所有下游應用而設計或評估。我們強烈建議用戶在部署此模型之前，評估並解決與準確性、安全性和公平性相關的潛在問題。我們鼓勵用戶考慮人工智能的常見侷限性，遵守適用法律，並在選擇用例時採用最佳實踐，特別是在高風險場景中，錯誤或濫用可能會對人們的生活、權利或安全產生重大影響。有關用例的更多指導，請參考我們的使用協議和人工智能使用協議。