Xlam 2 3b Fc R Gguf

🚀 xLAM-2模型家族

大型行動模型（LAMs）能夠將用戶意圖轉化為可執行的行動，以此增強決策能力。xLAM-2系列基於先進的數據合成、處理和訓練管道構建，在多輪對話和工具使用方面有顯著提升。本倉庫提供了xLAM-2-3b-fc-r模型的GGUF格式文件。

[論文] | [主頁] | [數據集] | [GitHub]

🚀 快速開始

本倉庫提供了xLAM-2-3b-fc-r模型的GGUF格式文件，你可以通過以下鏈接訪問原始模型 xLAM-2-3b-fc-r。

大型行動模型（LAMs）是先進的語言模型，旨在通過將用戶意圖轉化為可執行的行動來增強決策能力。作為AI智能體的“大腦”，LAMs能夠自主規劃和執行任務以實現特定目標，使其在不同領域的工作流自動化中具有重要價值。 本次模型發佈僅用於研究目的。

全新的xLAM-2系列基於我們最先進的數據合成、處理和訓練管道構建，在多輪對話和工具使用方面實現了重大飛躍。該系列模型使用我們新穎的APIGen-MT框架進行訓練，該框架通過模擬智能體與人類的交互來生成高質量的訓練數據。我們的模型在BFCL和Ï„-bench基準測試中達到了最先進的性能，超越了GPT-4o和Claude 3.5等前沿模型。值得注意的是，即使是我們的較小模型在多輪場景中也表現出卓越的能力，並且在多次試驗中保持了極高的一致性。

我們還優化了聊天模板和vLLM集成，使構建先進的AI智能體變得更加容易。與之前的xLAM模型相比，xLAM-2在各種應用中提供了更出色的性能和無縫的部署體驗。

較大的xLAM-2-fc-r模型（8B - 70B，使用APIGen-MT數據訓練）在函數調用（BFCL v3，截至2025年4月2日）和智能體能力（Ï„-bench）方面與最先進的基線模型的對比性能。

✨ 主要特性

• 高性能：在多輪對話和工具使用方面表現出色，在BFCL和Ï„-bench基準測試中超越前沿模型。
• 數據驅動：使用APIGen-MT框架生成高質量訓練數據，確保模型能力。
• 易於集成：優化了聊天模板和vLLM集成，方便構建AI智能體。
• 一致性強：即使較小的模型在多輪場景中也能保持卓越的一致性。

📦 安裝指南

下載GGUF文件

1. 安裝Hugging Face CLI

pip install huggingface-hub

2. 登錄Hugging Face

huggingface-cli login

3. 下載GGUF模型

huggingface-cli download Salesforce/Llama-xLAM-2-8b-fc-r-gguf Llama-xLAM-2-8b-fc-r-gguf --local-dir . --local-dir-use-symlinks False

💻 使用示例

基礎用法

命令行方式

1. 從此處的源代碼安裝llama.cpp框架。
2. 如下所示運行推理任務。有關生成相關參數的配置，請參考llama.cpp文檔。

llama-cli -m [本地GGUF文件路徑]

Python框架方式

1. 安裝llama-cpp-python

pip install llama-cpp-python

2. 使用高級API進行推理：

from llama_cpp import Llama
llm = Llama(
      model_path="[模型路徑]"
)
output = llm.create_chat_completion(
      messages = [
        {
          "role": "system",
          "content": "You are a helpful assistant that can use tools. You are developed by Salesforce xLAM team."

        },
        {
          "role": "user",
          "content": "Extract Jason is 25 years old"
        }
      ],
      tools=[{
        "type": "function",
        "function": {
          "name": "UserDetail",
          "parameters": {
            "type": "object",
            "title": "UserDetail",
            "properties": {
              "name": {
                "title": "Name",
                "type": "string"
              },
              "age": {
                "title": "Age",
                "type": "integer"
              }
            },
            "required": [ "name", "age" ]
          }
        }
      }],
      tool_choice={
        "type": "function",
        "function": {
          "name": "UserDetail"
        }
      }
)
print(output['choices'][0]['message'])

高級用法

本模型的高級用法主要體現在對不同工具的調用和多輪對話的處理上。通過合理配置工具和輸入，模型可以在複雜場景中發揮強大的功能。例如，在實際應用中，可以根據具體需求動態調整工具列表和參數，以實現更精準的信息提取和任務執行。

📚 詳細文檔

模型系列

xLAM系列在許多方面表現出色，包括通用任務和函數調用。對於相同數量的參數，該模型在廣泛的智能體任務和場景中進行了微調，同時保留了原始模型的能力。

*注意：基於Qwen-2.5的模型的默認上下文長度為32k，但你可以使用YaRN（Yet Another Recursive Network）等技術實現最大128k的上下文長度。更多詳細信息請參考此處。

你還可以在此處探索我們之前的xLAM系列。

-fc 後綴表示這些模型針對函數調用任務進行了微調，而 -r 後綴表示這是一個研究版本。

✅ 所有模型都與vLLM和基於Transformers的推理框架完全兼容。

使用GGUF文件

對於需要更高效推理或在資源受限設備上部署的場景，我們提供了模型的GGUF版本，這些版本與llama.cpp等框架兼容。

提示模板

GGUF模型使用以下提示模板：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{TASK_INSTRUCTION}
You have access to a set of tools. When using tools, make calls in a single JSON array: 

[{"name": "tool_call_name", "arguments": {"arg1": "value1", "arg2": "value2"}}, ... (additional parallel tool calls as needed)]

If no tool is suitable, state that explicitly. If the user's input lacks required parameters, ask for clarification. Do not interpret or respond until tool results are returned. Once they are available, process them or make additional calls if needed. For tasks that don't require tools, such as casual conversation or general advice, respond directly in plain text. The available tools are:

{AVAILABLE_TOOLS}

<|eot_id|><|start_header_id|>user<|end_header_id|>

{USER_QUERY}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

{ASSISTANT_QUERY}<|eot_id|><|start_header_id|>user<|end_header_id|>

{USER_QUERY}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

基準測試結果

伯克利函數調用排行榜（BFCL v3）

不同模型在[BFCL排行榜](https://gorilla.cs.berkeley.edu/leaderboard.html)上的性能比較。排名基於整體準確率，這是不同評估類別的加權平均值。“FC”表示函數調用模式，與使用自定義“提示”來提取函數調用相對。

Ï„-bench基準測試

在Ï„-bench基準測試中，至少5次試驗的平均成功率（pass@1）。我們的xLAM-2-70b-fc-r模型在Ï„-bench上的總體成功率達到了56.2%，顯著優於基礎Llama 3.1 70B Instruct模型（38.2%）和DeepSeek v3（40.6%）等其他開源模型。值得注意的是，我們的最佳模型甚至超越了GPT-4o（52.9%）等專有模型，並接近Claude 3.5 Sonnet（new）（60.1%）等較新模型的性能。

Pass^k曲線衡量了在給定任務中所有5次獨立試驗成功的概率，是在Ï„-零售（左）和Ï„-航空（右）領域的所有任務上的平均值。值越高表示模型的一致性越好。

道德考量

本次發佈僅用於支持學術論文的研究目的。我們的模型、數據集和代碼並非專門為所有下游用途設計或評估。我們強烈建議用戶在部署此模型之前評估並解決與準確性、安全性和公平性相關的潛在問題。我們鼓勵用戶考慮AI的常見侷限性，遵守適用法律，並在選擇用例時採用最佳實踐，特別是在錯誤或濫用可能對人們的生活、權利或安全產生重大影響的高風險場景中。有關用例的進一步指導，請參考我們的AUP和AI AUP。

模型許可證

對於所有與Llama相關的模型，請同時遵守相應的Llama許可證和條款。Meta Llama 3根據Meta Llama 3社區許可證進行許可，版權所有 © Meta Platforms, Inc. 保留所有權利。

🔧 技術細節

本模型使用新穎的APIGen-MT框架進行訓練，該框架通過模擬智能體與人類的交互來生成高質量的訓練數據。在訓練過程中，模型針對多輪對話和工具使用進行了優化，以提高其在複雜場景下的性能。同時，我們還對聊天模板和vLLM集成進行了改進，使得模型在實際應用中更加易於使用和部署。

📄 許可證

本項目採用CC BY-NC 4.0許可證。對於所有與Llama相關的模型，請同時遵守相應的Llama許可證和條款。Meta Llama 3根據Meta Llama 3社區許可證進行許可，版權所有 © Meta Platforms, Inc. 保留所有權利。

📚 引用

如果你在工作中使用了我們的模型或數據集，請引用我們的論文：

@article{prabhakar2025apigenmt,
  title={APIGen-MT: Agentic Pipeline for Multi-Turn Data Generation via Simulated Agent-Human Interplay},
  author={Prabhakar, Akshara and Liu, Zuxin and Yao, Weiran and Zhang, Jianguo and Zhu, Ming and Wang, Shiyu and Liu, Zhiwei and Awalgaonkar, Tulika and Chen, Haolin and Hoang, Thai and Niebles, Juan Carlos and Heinecke, Shelby and Wang, Huan and Savarese, Silvio and Xiong, Caiming},
  journal={arXiv preprint arXiv:2504.03601},
  year={2025}
}

此外，請查看我們關於xLAM系列的其他優秀作品，並考慮也引用它們：

@article{zhang2025actionstudio,
  title={ActionStudio: A Lightweight Framework for Data and Training of Action Models},
  author={Zhang, Jianguo and Hoang, Thai and Zhu, Ming and Liu, Zuxin and Wang, Shiyu and Awalgaonkar, Tulika and Prabhakar, Akshara and Chen, Haolin and Yao, Weiran and Liu, Zhiwei and others},
  journal={arXiv preprint arXiv:2503.22673},
  year={2025}
}

@article{zhang2024xlam,
  title={xLAM: A Family of Large Action Models to Empower AI Agent Systems},
  author={Zhang, Jianguo and Lan, Tian and Zhu, Ming and Liu, Zuxin and Hoang, Thai and Kokane, Shirley and Yao, Weiran and Tan, Juntao and Prabhakar, Akshara and Chen, Haolin and others},
  journal={arXiv preprint arXiv:2409.03215},
  year={2024}
}

@article{liu2024apigen,
  title={Apigen: Automated pipeline for generating verifiable and diverse function-calling datasets},
  author={Liu, Zuxin and Hoang, Thai and Zhang, Jianguo and Zhu, Ming and Lan, Tian and Tan, Juntao and Yao, Weiran and Liu, Zhiwei and Feng, Yihao and RN, Rithesh and others},
  journal={Advances in Neural Information Processing Systems},
  volume={37},
  pages={54463--54482},
  year={2024}
}

@article{zhang2024agentohana,
  title={AgentOhana: Design Unified Data and Training Pipeline for Effective Agent Learning},
  author={Zhang, Jianguo and Lan, Tian and Murthy, Rithesh and Liu, Zhiwei and Yao, Weiran and Tan, Juntao and Hoang, Thai and Yang, Liangwei and Feng, Yihao and Liu, Zuxin and others},
  journal={arXiv preprint arXiv:2402.15506},
  year={2024}
}