C4ai Command A 03 2025

🚀 Cohere Labs Command A 模型卡片

Cohere Labs Command A 是一款拥有 1110 亿参数的模型，专为有快速、安全且高质量 AI 需求的企业打造。与其他领先的专有和开源权重模型相比，Command A 能以最低的硬件成本实现最高性能，在关键业务的智能代理和多语言任务中表现出色，且仅需两块 GPU 即可部署。

🚀 快速开始

你可以在下载权重之前，在我们托管的 Hugging Face 空间 中试用 Cohere Labs Command A。

请从包含此模型必要更改的源仓库安装 transformers：

# pip install transformers
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereLabs/c4ai-command-a-03-2025"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# Format message with the c4ai-command-a-03-2025 chat template
messages = [{"role": "user", "content": "Hello, how are you?"}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")

gen_tokens = model.generate(
    input_ids, 
    max_new_tokens=100, 
    do_sample=True, 
    temperature=0.3,
)

gen_text = tokenizer.decode(gen_tokens[0])
print(gen_text)

✨ 主要特性

• 高性能与低成本：以最低的硬件成本实现最高性能，仅需两块 GPU 即可部署。
• 多语言支持：支持 23 种语言，包括英语、法语、西班牙语等。
• 长上下文处理：支持 256K 的上下文长度。
• 聊天功能：默认配置为对话模型，可通过系统消息实现非交互行为，还支持两种安全模式。
• RAG 能力：支持检索增强生成（RAG），可选择包含引用信息。
• 工具使用能力：支持与外部工具（如 API、数据库、搜索引擎）交互，可选择包含引用信息。
• 代码能力：在代码生成、解释和重写等方面表现出色，尤其在 SQL 生成和代码翻译等企业相关场景中优于同规模模型。

📦 安装指南

请从包含此模型必要更改的源仓库安装 transformers：

# pip install transformers

💻 使用示例

基础用法

# pip install transformers
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereLabs/c4ai-command-a-03-2025"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# Format message with the c4ai-command-a-03-2025 chat template
messages = [{"role": "user", "content": "Hello, how are you?"}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")

gen_tokens = model.generate(
    input_ids, 
    max_new_tokens=100, 
    do_sample=True, 
    temperature=0.3,
)

gen_text = tokenizer.decode(gen_tokens[0])
print(gen_text)

高级用法 - RAG 示例

# Define conversation input
conversation = [{"role": "user", "content": "What has Man always dreamed of?"}]

# Define documents for retrieval-based generation
documents = [ 
  {"heading": "The Moon: Our Age-Old Foe", "body": "Man has always dreamed of destroying the moon. In this essay, I shall..."},
  {"heading": "Love is all you need", "body": "Man's dream has always been to find love. This profound lesson..."},
]

# Get the RAG prompt
input_prompt = tokenizer.apply_chat_template(
  conversation=conversation,
  documents=documents,
  tokenize=False,
  add_generation_prompt=True,
  return_tensors="pt",
)

# Tokenize the prompt
input_ids = tokenizer.encode_plus(input_prompt, return_tensors="pt")

高级用法 - 工具使用示例

# Define tools
tools = [{ 
  "type": "function", 
  "function": {
    "name": "query_daily_sales_report",
    "description": "Connects to a database to retrieve overall sales volumes and sales information for a given day.",
    "parameters": {
      "type": "object",
      "properties": {
        "day": {
          "description": "Retrieves sales data for this day, formatted as YYYY-MM-DD.",
          "type": "string",
        }
      },
      "required": ["day"]
    },
  }
}]

# Define conversation input
conversation = [{"role": "user", "content": "Can you provide a sales summary for 29th September 2023?"}]

# Get the Tool Use prompt
input_prompt = tokenizer.apply_chat_template(conversation=conversation, tools=tools, tokenize=False, add_generation_prompt=True, return_tensors="pt")
# Tokenize the prompt
input_ids = tokenizer.encode_plus(input_prompt, return_tensors="pt")

📚 详细文档

模型详情

聊天能力

默认情况下，Command A 配置为对话模型。预定义的引导语使模型具备交互行为，即期望它以对话方式回复，提供介绍性陈述和后续问题，并在适当的地方使用 Markdown 和 LaTeX。这适用于交互式体验，如聊天机器人，模型可参与对话。

在其他用例中，可能更需要非交互式模型行为（例如，专注于任务的用例，如信息提取、文本摘要、翻译和分类）。了解如何使用系统消息实现此类非交互式行为 点击此处。

此外，Command A 可以配置两种安全模式，使用户能够设置既安全又适合其需求的护栏：上下文模式或严格模式。上下文模式适用于广泛的交互，对输出的限制较少，同时通过拒绝有害或非法建议来保持核心保护。Command A 默认配置为上下文模式。严格模式旨在避免所有敏感话题，如暴力或性行为和亵渎内容。更多信息，请参阅 Command A 提示格式文档。

RAG 能力

Command A 专门针对检索增强生成（RAG）的最后一步等任务进行了训练。

通过 Transformers 中的 聊天模板 支持使用 Command A 进行 RAG。模型接受对话作为输入（可选用户提供的系统引导语），以及文档片段列表。

文档片段应该是短块，而不是长文档，通常每个块约 100 - 400 个单词，格式为键值对。键应该是简短的描述性字符串，值可以是文本或半结构化的。

你可能会发现，直接在用户消息中包含相关文档的效果与使用文档参数渲染特殊 RAG 模板的效果相同，甚至更好。RAG 模板通常是一个强大的默认选项，非常适合需要引用的用户。我们鼓励用户尝试这两种方式，并评估哪种模式最适合他们的特定用例。

工具使用能力

Command A 专门针对对话工具使用能力进行了训练。这允许模型与外部工具（如 API、数据库或搜索引擎）进行交互。

通过 Transformers 中的 聊天模板 支持使用 Command A 进行工具调用。我们建议使用 JSON 模式提供工具描述。

代码能力

Command A 在代码能力方面有显著提升。除了学术代码基准测试外，我们还在与企业相关的场景中对其进行了评估，包括 SQL 生成和代码翻译，在这些方面它优于同规模的其他模型。你可以通过请求代码片段、代码解释或代码重写来尝试这些功能。为了获得更好的性能，我们还建议在与代码生成相关的指令中使用较低的温度（甚至贪婪解码）。

🔧 技术细节

该模型是一个自回归语言模型，使用优化的 Transformer 架构。预训练后，使用监督微调（SFT）和偏好训练，使模型行为符合人类对有用性和安全性的偏好。模型具有三层 滑动窗口注意力（窗口大小 4096）和 RoPE，用于高效的局部上下文建模和相对位置编码。第四层使用 全局注意力，无位置嵌入，可实现整个序列中不受限制的令牌交互。

更多关于该模型开发的详细信息，请查看我们的 技术报告。

📄 许可证

该模型受 CC-BY-NC 许可协议的约束，同时还需遵守 Cohere Lab 的可接受使用政策。

其他信息

模型卡片联系信息

如果对本模型卡片中的细节有错误或额外问题，请联系 labs@cohere.com。

试用聊天

你可以在 此处 的 playground 中试用 Command A 聊天。你也可以在我们专用的 Hugging Face 空间 此处 中使用它。

引用

@misc{cohere2025commandaenterprisereadylarge,
      title={Command A: An Enterprise-Ready Large Language Model}, 
      author={Team Cohere and Aakanksha and Arash Ahmadian and Marwan Ahmed and Jay Alammar and Yazeed Alnumay and Sophia Althammer and Arkady Arkhangorodsky and Viraat Aryabumi and Dennis Aumiller and Raphaël Avalos and Zahara Aviv and Sammie Bae and Saurabh Baji and Alexandre Barbet and Max Bartolo and Björn Bebensee and Neeral Beladia and Walter Beller-Morales and Alexandre Bérard and Andrew Berneshawi and Anna Bialas and Phil Blunsom and Matt Bobkin and Adi Bongale and Sam Braun and Maxime Brunet and Samuel Cahyawijaya and David Cairuz and Jon Ander Campos and Cassie Cao and Kris Cao and Roman Castagné and Julián Cendrero and Leila Chan Currie and Yash Chandak and Diane Chang and Giannis Chatziveroglou and Hongyu Chen and Claire Cheng and Alexis Chevalier and Justin T. Chiu and Eugene Cho and Eugene Choi and Eujeong Choi and Tim Chung and Volkan Cirik and Ana Cismaru and Pierre Clavier and Henry Conklin and Lucas Crawhall-Stein and Devon Crouse and Andres Felipe Cruz-Salinas and Ben Cyrus and Daniel D'souza and Hugo Dalla-Torre and John Dang and William Darling and Omar Darwiche Domingues and Saurabh Dash and Antoine Debugne and Théo Dehaze and Shaan Desai and Joan Devassy and Rishit Dholakia and Kyle Duffy and Ali Edalati and Ace Eldeib and Abdullah Elkady and Sarah Elsharkawy and Irem Ergün and Beyza Ermis and Marzieh Fadaee and Boyu Fan and Lucas Fayoux and Yannis Flet-Berliac and Nick Frosst and Matthias Gallé and Wojciech Galuba and Utsav Garg and Matthieu Geist and Mohammad Gheshlaghi Azar and Seraphina Goldfarb-Tarrant and Tomas Goldsack and Aidan Gomez and Victor Machado Gonzaga and Nithya Govindarajan and Manoj Govindassamy and Nathan Grinsztajn and Nikolas Gritsch and Patrick Gu and Shangmin Guo and Kilian Haefeli and Rod Hajjar and Tim Hawes and Jingyi He and Sebastian Hofstätter and Sungjin Hong and Sara Hooker and Tom Hosking and Stephanie Howe and Eric Hu and Renjie Huang and Hemant Jain and Ritika Jain and Nick Jakobi and Madeline Jenkins and JJ Jordan and Dhruti Joshi and Jason Jung and Trushant Kalyanpur and Siddhartha Rao Kamalakara and Julia Kedrzycki and Gokce Keskin and Edward Kim and Joon Kim and Wei-Yin Ko and Tom Kocmi and Michael Kozakov and Wojciech Kryściński and Arnav Kumar Jain and Komal Kumar Teru and Sander Land and Michael Lasby and Olivia Lasche and Justin Lee and Patrick Lewis and Jeffrey Li and Jonathan Li and Hangyu Lin and Acyr Locatelli and Kevin Luong and Raymond Ma and Lukas Mach and Marina Machado and Joanne Magbitang and Brenda Malacara Lopez and Aryan Mann and Kelly Marchisio and Olivia Markham and Alexandre Matton and Alex McKinney and Dominic McLoughlin and Jozef Mokry and Adrien Morisot and Autumn Moulder and Harry Moynehan and Maximilian Mozes and Vivek Muppalla and Lidiya Murakhovska and Hemangani Nagarajan and Alekhya Nandula and Hisham Nasir and Shauna Nehra and Josh Netto-Rosen and Daniel Ohashi and James Owers-Bardsley and Jason Ozuzu and Dennis Padilla and Gloria Park and Sam Passaglia and Jeremy Pekmez and Laura Penstone and Aleksandra Piktus and Case Ploeg and Andrew Poulton and Youran Qi and Shubha Raghvendra and Miguel Ramos and Ekagra Ranjan and Pierre Richemond and Cécile Robert-Michon and Aurélien Rodriguez and Sudip Roy and Laura Ruis and Louise Rust and Anubhav Sachan and Alejandro Salamanca and Kailash Karthik Saravanakumar and Isha Satyakam and Alice Schoenauer Sebag and Priyanka Sen and Sholeh Sepehri and Preethi Seshadri and Ye Shen and Tom Sherborne and Sylvie Chang Shi and Sanal Shivaprasad and Vladyslav Shmyhlo and Anirudh Shrinivason and Inna Shteinbuk and Amir Shukayev and Mathieu Simard and Ella Snyder and Ava Spataru and Victoria Spooner and Trisha Starostina and Florian Strub and Yixuan Su and Jimin Sun and Dwarak Talupuru and Eugene Tarassov and Elena Tommasone and Jennifer Tracey and Billy Trend and Evren Tumer and Ahmet Üstün and Bharat Venkitesh and David Venuto and Pat Verga and Maxime Voisin and Alex Wang and Donglu Wang and Shijian Wang and Edmond Wen and Naomi White and Jesse Willman and Marysia Winkels and Chen Xia and Jessica Xie and Minjie Xu and Bowen Yang and Tan Yi-Chern and Ivan Zhang and Zhenyu Zhao and Zhoujie Zhao},
      year={2025},
      eprint={2504.00698},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.00698}, 
}