Xlam V0.1 R

🚀 xLAM-v0.1-r大動作模型

xLAM-v0.1-r是大動作模型系列的0.1版本，是在Mixtral基礎上的顯著升級。該模型在相同參數數量下，針對廣泛的代理任務和場景進行了微調，同時保留了原模型的能力，並且兼容VLLM和FastChat平臺。

[AgentOhana論文] | [Github] | [Discord] | [主頁] | [社區演示]

🚀 快速開始

如果你已經瞭解Mixtral，那麼xLAM-v0.1是一個顯著的升級版本，在很多方面表現更優。對於相同數量的參數，該模型在廣泛的代理任務和場景中進行了微調，同時保留了原模型的能力。

xLAM-v0.1-r代表大動作模型系列的0.1版本，“-r” 表示該版本用於研究。此模型與VLLM和FastChat平臺兼容。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Salesforce/xLAM-v0.1-r")
model = AutoModelForCausalLM.from_pretrained("Salesforce/xLAM-v0.1-r", device_map="auto")

messages = [
    {"role": "user", "content": "What is your favourite condiment?"},
    {"role": "assistant", "content": "Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen!"},
    {"role": "user", "content": "Do you have mayonnaise recipes?"}
]

inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to("cuda")

outputs = model.generate(inputs, max_new_tokens=512)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

高級用法

你可能需要針對不同的應用調整溫度設置。通常，較低的溫度有助於需要確定性結果的任務。此外，對於要求遵循特定格式或函數調用的任務，建議明確包含格式說明。

⚠️ 倫理考量

本次發佈僅用於支持學術論文的研究目的。我們的模型、數據集和代碼並非專門為所有下游用途設計或評估。我們強烈建議用戶在部署此模型之前，評估並解決與準確性、安全性和公平性相關的潛在問題。我們鼓勵用戶考慮人工智能的常見侷限性，遵守適用法律，並在選擇用例時採用最佳實踐，特別是在錯誤或濫用可能對人們的生活、權利或安全產生重大影響的高風險場景中。有關用例的更多指導，請參考我們的AUP和AI AUP。

📊 基準測試

BOLAA

Webshop

HotpotQA

AgentLite

請注意：AgentLite提供的所有提示對於xLAM-v0.1-r來說都是“未見提示”，這意味著模型沒有使用與這些提示相關的數據進行訓練。

Webshop

HotpotQA

ToolBench

MINT-BENCH

Tool-Query

📄 許可證

此代碼遵循Apache 2.0許可證。對於基於deepseek模型的模型，你需要遵循鏈接的deepseek許可證中的使用限制。這是一個僅用於研究的項目。

🙏 致謝

我們要感謝那些為我們的論文和代理研究社區做出貢獻的工作！如果你發現我們的工作有用，請考慮引用以下文獻：

@article{zhang2024agentohana,
  title={AgentOhana: Design Unified Data and Training Pipeline for Effective Agent Learning},
  author={Zhang, Jianguo and Lan, Tian and Murthy, Rithesh and Liu, Zhiwei and Yao, Weiran and Tan, Juntao and Hoang, Thai and Yang, Liangwei and Feng, Yihao and Liu, Zuxin and others},
  journal={arXiv preprint arXiv:2402.15506},
  year={2024}
}

@article{liu2024apigen,
  title={APIGen: Automated PIpeline for Generating Verifiable and Diverse Function-Calling Datasets},
  author={Liu, Zuxin and Hoang, Thai and Zhang, Jianguo and Zhu, Ming and Lan, Tian and Kokane, Shirley and Tan, Juntao and Yao, Weiran and Liu, Zhiwei and Feng, Yihao and others},
  journal={arXiv preprint arXiv:2406.18518},
  year={2024}
}

@article{zhang2024xlamfamilylargeaction,
  title={xLAM: A Family of Large Action Models to Empower AI Agent Systems}, 
  author={Zhang, Jianguo  and Lan, Tian  and Zhu, Ming  and Liu, Zuxin and Hoang, Thai and Kokane, Shirley and Yao, Weiran and Tan, Juntao and Prabhakar, Akshara and Chen, Haolin and Liu, Zhiwei and Feng, Yihao and Awalgaonkar, Tulika and Murthy, Rithesh and Hu, Eric and Chen, Zeyuan and Xu, Ran and Niebles, Juan Carlos and Heinecke, Shelby and Wang, Huan and Savarese, Silvio and Xiong, Caiming},
  journal={arXiv preprint arXiv:2409.03215},
  year={2024}
}