C4ai Command A 03 2025

🚀 Cohere Labs Command A 模型卡片

Cohere Labs Command A 是一款擁有 1110 億參數的模型，專為有快速、安全且高質量 AI 需求的企業打造。與其他領先的專有和開源權重模型相比，Command A 能以最低的硬件成本實現最高性能，在關鍵業務的智能代理和多語言任務中表現出色，且僅需兩塊 GPU 即可部署。

🚀 快速開始

你可以在下載權重之前，在我們託管的 Hugging Face 空間 中試用 Cohere Labs Command A。

請從包含此模型必要更改的源倉庫安裝 transformers：

# pip install transformers
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereLabs/c4ai-command-a-03-2025"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# Format message with the c4ai-command-a-03-2025 chat template
messages = [{"role": "user", "content": "Hello, how are you?"}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")

gen_tokens = model.generate(
    input_ids, 
    max_new_tokens=100, 
    do_sample=True, 
    temperature=0.3,
)

gen_text = tokenizer.decode(gen_tokens[0])
print(gen_text)

✨ 主要特性

• 高性能與低成本：以最低的硬件成本實現最高性能，僅需兩塊 GPU 即可部署。
• 多語言支持：支持 23 種語言，包括英語、法語、西班牙語等。
• 長上下文處理：支持 256K 的上下文長度。
• 聊天功能：默認配置為對話模型，可通過系統消息實現非交互行為，還支持兩種安全模式。
• RAG 能力：支持檢索增強生成（RAG），可選擇包含引用信息。
• 工具使用能力：支持與外部工具（如 API、數據庫、搜索引擎）交互，可選擇包含引用信息。
• 代碼能力：在代碼生成、解釋和重寫等方面表現出色，尤其在 SQL 生成和代碼翻譯等企業相關場景中優於同規模模型。

📦 安裝指南

請從包含此模型必要更改的源倉庫安裝 transformers：

# pip install transformers

💻 使用示例

基礎用法

# pip install transformers
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereLabs/c4ai-command-a-03-2025"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# Format message with the c4ai-command-a-03-2025 chat template
messages = [{"role": "user", "content": "Hello, how are you?"}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")

gen_tokens = model.generate(
    input_ids, 
    max_new_tokens=100, 
    do_sample=True, 
    temperature=0.3,
)

gen_text = tokenizer.decode(gen_tokens[0])
print(gen_text)

高級用法 - RAG 示例

# Define conversation input
conversation = [{"role": "user", "content": "What has Man always dreamed of?"}]

# Define documents for retrieval-based generation
documents = [ 
  {"heading": "The Moon: Our Age-Old Foe", "body": "Man has always dreamed of destroying the moon. In this essay, I shall..."},
  {"heading": "Love is all you need", "body": "Man's dream has always been to find love. This profound lesson..."},
]

# Get the RAG prompt
input_prompt = tokenizer.apply_chat_template(
  conversation=conversation,
  documents=documents,
  tokenize=False,
  add_generation_prompt=True,
  return_tensors="pt",
)

# Tokenize the prompt
input_ids = tokenizer.encode_plus(input_prompt, return_tensors="pt")

高級用法 - 工具使用示例

# Define tools
tools = [{ 
  "type": "function", 
  "function": {
    "name": "query_daily_sales_report",
    "description": "Connects to a database to retrieve overall sales volumes and sales information for a given day.",
    "parameters": {
      "type": "object",
      "properties": {
        "day": {
          "description": "Retrieves sales data for this day, formatted as YYYY-MM-DD.",
          "type": "string",
        }
      },
      "required": ["day"]
    },
  }
}]

# Define conversation input
conversation = [{"role": "user", "content": "Can you provide a sales summary for 29th September 2023?"}]

# Get the Tool Use prompt
input_prompt = tokenizer.apply_chat_template(conversation=conversation, tools=tools, tokenize=False, add_generation_prompt=True, return_tensors="pt")
# Tokenize the prompt
input_ids = tokenizer.encode_plus(input_prompt, return_tensors="pt")

📚 詳細文檔

模型詳情

聊天能力

默認情況下，Command A 配置為對話模型。預定義的引導語使模型具備交互行為，即期望它以對話方式回覆，提供介紹性陳述和後續問題，並在適當的地方使用 Markdown 和 LaTeX。這適用於交互式體驗，如聊天機器人，模型可參與對話。

在其他用例中，可能更需要非交互式模型行為（例如，專注於任務的用例，如信息提取、文本摘要、翻譯和分類）。瞭解如何使用系統消息實現此類非交互式行為 點擊此處。

此外，Command A 可以配置兩種安全模式，使用戶能夠設置既安全又適合其需求的護欄：上下文模式或嚴格模式。上下文模式適用於廣泛的交互，對輸出的限制較少，同時通過拒絕有害或非法建議來保持核心保護。Command A 默認配置為上下文模式。嚴格模式旨在避免所有敏感話題，如暴力或性行為和褻瀆內容。更多信息，請參閱 Command A 提示格式文檔。

RAG 能力

Command A 專門針對檢索增強生成（RAG）的最後一步等任務進行了訓練。

通過 Transformers 中的 聊天模板 支持使用 Command A 進行 RAG。模型接受對話作為輸入（可選用戶提供的系統引導語），以及文檔片段列表。

文檔片段應該是短塊，而不是長文檔，通常每個塊約 100 - 400 個單詞，格式為鍵值對。鍵應該是簡短的描述性字符串，值可以是文本或半結構化的。

你可能會發現，直接在用戶消息中包含相關文檔的效果與使用文檔參數渲染特殊 RAG 模板的效果相同，甚至更好。RAG 模板通常是一個強大的默認選項，非常適合需要引用的用戶。我們鼓勵用戶嘗試這兩種方式，並評估哪種模式最適合他們的特定用例。

工具使用能力

Command A 專門針對對話工具使用能力進行了訓練。這允許模型與外部工具（如 API、數據庫或搜索引擎）進行交互。

通過 Transformers 中的 聊天模板 支持使用 Command A 進行工具調用。我們建議使用 JSON 模式提供工具描述。

代碼能力

Command A 在代碼能力方面有顯著提升。除了學術代碼基準測試外，我們還在與企業相關的場景中對其進行了評估，包括 SQL 生成和代碼翻譯，在這些方面它優於同規模的其他模型。你可以通過請求代碼片段、代碼解釋或代碼重寫來嘗試這些功能。為了獲得更好的性能，我們還建議在與代碼生成相關的指令中使用較低的溫度（甚至貪婪解碼）。

🔧 技術細節

該模型是一個自迴歸語言模型，使用優化的 Transformer 架構。預訓練後，使用監督微調（SFT）和偏好訓練，使模型行為符合人類對有用性和安全性的偏好。模型具有三層 滑動窗口注意力（窗口大小 4096）和 RoPE，用於高效的局部上下文建模和相對位置編碼。第四層使用 全局注意力，無位置嵌入，可實現整個序列中不受限制的令牌交互。

更多關於該模型開發的詳細信息，請查看我們的 技術報告。

📄 許可證

該模型受 CC-BY-NC 許可協議的約束，同時還需遵守 Cohere Lab 的可接受使用政策。

其他信息

模型卡片聯繫信息

如果對本模型卡片中的細節有錯誤或額外問題，請聯繫 labs@cohere.com。

試用聊天

你可以在 此處 的 playground 中試用 Command A 聊天。你也可以在我們專用的 Hugging Face 空間 此處 中使用它。

引用

@misc{cohere2025commandaenterprisereadylarge,
      title={Command A: An Enterprise-Ready Large Language Model}, 
      author={Team Cohere and Aakanksha and Arash Ahmadian and Marwan Ahmed and Jay Alammar and Yazeed Alnumay and Sophia Althammer and Arkady Arkhangorodsky and Viraat Aryabumi and Dennis Aumiller and Raphaël Avalos and Zahara Aviv and Sammie Bae and Saurabh Baji and Alexandre Barbet and Max Bartolo and Björn Bebensee and Neeral Beladia and Walter Beller-Morales and Alexandre Bérard and Andrew Berneshawi and Anna Bialas and Phil Blunsom and Matt Bobkin and Adi Bongale and Sam Braun and Maxime Brunet and Samuel Cahyawijaya and David Cairuz and Jon Ander Campos and Cassie Cao and Kris Cao and Roman Castagné and Julián Cendrero and Leila Chan Currie and Yash Chandak and Diane Chang and Giannis Chatziveroglou and Hongyu Chen and Claire Cheng and Alexis Chevalier and Justin T. Chiu and Eugene Cho and Eugene Choi and Eujeong Choi and Tim Chung and Volkan Cirik and Ana Cismaru and Pierre Clavier and Henry Conklin and Lucas Crawhall-Stein and Devon Crouse and Andres Felipe Cruz-Salinas and Ben Cyrus and Daniel D'souza and Hugo Dalla-Torre and John Dang and William Darling and Omar Darwiche Domingues and Saurabh Dash and Antoine Debugne and Théo Dehaze and Shaan Desai and Joan Devassy and Rishit Dholakia and Kyle Duffy and Ali Edalati and Ace Eldeib and Abdullah Elkady and Sarah Elsharkawy and Irem Ergün and Beyza Ermis and Marzieh Fadaee and Boyu Fan and Lucas Fayoux and Yannis Flet-Berliac and Nick Frosst and Matthias Gallé and Wojciech Galuba and Utsav Garg and Matthieu Geist and Mohammad Gheshlaghi Azar and Seraphina Goldfarb-Tarrant and Tomas Goldsack and Aidan Gomez and Victor Machado Gonzaga and Nithya Govindarajan and Manoj Govindassamy and Nathan Grinsztajn and Nikolas Gritsch and Patrick Gu and Shangmin Guo and Kilian Haefeli and Rod Hajjar and Tim Hawes and Jingyi He and Sebastian Hofstätter and Sungjin Hong and Sara Hooker and Tom Hosking and Stephanie Howe and Eric Hu and Renjie Huang and Hemant Jain and Ritika Jain and Nick Jakobi and Madeline Jenkins and JJ Jordan and Dhruti Joshi and Jason Jung and Trushant Kalyanpur and Siddhartha Rao Kamalakara and Julia Kedrzycki and Gokce Keskin and Edward Kim and Joon Kim and Wei-Yin Ko and Tom Kocmi and Michael Kozakov and Wojciech Kryściński and Arnav Kumar Jain and Komal Kumar Teru and Sander Land and Michael Lasby and Olivia Lasche and Justin Lee and Patrick Lewis and Jeffrey Li and Jonathan Li and Hangyu Lin and Acyr Locatelli and Kevin Luong and Raymond Ma and Lukas Mach and Marina Machado and Joanne Magbitang and Brenda Malacara Lopez and Aryan Mann and Kelly Marchisio and Olivia Markham and Alexandre Matton and Alex McKinney and Dominic McLoughlin and Jozef Mokry and Adrien Morisot and Autumn Moulder and Harry Moynehan and Maximilian Mozes and Vivek Muppalla and Lidiya Murakhovska and Hemangani Nagarajan and Alekhya Nandula and Hisham Nasir and Shauna Nehra and Josh Netto-Rosen and Daniel Ohashi and James Owers-Bardsley and Jason Ozuzu and Dennis Padilla and Gloria Park and Sam Passaglia and Jeremy Pekmez and Laura Penstone and Aleksandra Piktus and Case Ploeg and Andrew Poulton and Youran Qi and Shubha Raghvendra and Miguel Ramos and Ekagra Ranjan and Pierre Richemond and Cécile Robert-Michon and Aurélien Rodriguez and Sudip Roy and Laura Ruis and Louise Rust and Anubhav Sachan and Alejandro Salamanca and Kailash Karthik Saravanakumar and Isha Satyakam and Alice Schoenauer Sebag and Priyanka Sen and Sholeh Sepehri and Preethi Seshadri and Ye Shen and Tom Sherborne and Sylvie Chang Shi and Sanal Shivaprasad and Vladyslav Shmyhlo and Anirudh Shrinivason and Inna Shteinbuk and Amir Shukayev and Mathieu Simard and Ella Snyder and Ava Spataru and Victoria Spooner and Trisha Starostina and Florian Strub and Yixuan Su and Jimin Sun and Dwarak Talupuru and Eugene Tarassov and Elena Tommasone and Jennifer Tracey and Billy Trend and Evren Tumer and Ahmet Üstün and Bharat Venkitesh and David Venuto and Pat Verga and Maxime Voisin and Alex Wang and Donglu Wang and Shijian Wang and Edmond Wen and Naomi White and Jesse Willman and Marysia Winkels and Chen Xia and Jessica Xie and Minjie Xu and Bowen Yang and Tan Yi-Chern and Ivan Zhang and Zhenyu Zhao and Zhoujie Zhao},
      year={2025},
      eprint={2504.00698},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.00698}, 
}