C4ai Command R Plus 08 2024

🚀 Cohere Labs Command R+ 08-2024模型卡片

Cohere Labs Command R+ 08-2024是一款具有高度先進能力的1040億參數模型的開放權重研究版本。它支持檢索增強生成（RAG）和工具使用，可自動化完成複雜任務。該模型經過23種語言的訓練，並在10種語言中進行了評估，適用於推理、總結和問答等多種場景。

🚀 快速開始

在下載權重之前，你可以在我們託管的 Hugging Face Space 中試用Cohere Labs Command R+。

請使用 transformers 版本4.39.1或更高版本：

# pip install 'transformers>=4.39.1'
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereLabs/c4ai-command-r-plus-08-2024"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# Format message with the command-r-plus-08-2024 chat template
messages = [{"role": "user", "content": "Hello, how are you?"}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")
## <BOS_TOKEN><|START_OF_TURN_TOKEN|><|USER_TOKEN|>Hello, how are you?<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>

gen_tokens = model.generate(
    input_ids, 
    max_new_tokens=100, 
    do_sample=True, 
    temperature=0.3,
    )

gen_text = tokenizer.decode(gen_tokens[0])
print(gen_text)

✨ 主要特性

• 多語言支持：該模型經過23種語言的訓練，並在10種語言中進行了評估，包括英語、法語、西班牙語、意大利語、德語、葡萄牙語、日語、韓語、阿拉伯語和簡體中文等。
• 檢索增強生成（RAG）：支持檢索增強生成，能夠結合外部文檔生成更準確的回答，並在回答中包含引用信息。
• 工具使用能力：支持單步和多步工具使用，可與外部工具（如API、數據庫或搜索引擎）進行交互，以完成複雜任務。
• 代碼交互能力：經過優化，可與代碼進行交互，如請求代碼片段、代碼解釋或代碼重寫。

📚 詳細文檔

模型詳情

基於文檔的生成和RAG能力

Command R+ 08-2024經過專門訓練，具備基於文檔的生成能力。這意味著它可以根據提供的文檔片段列表生成響應，並在響應中包含引用信息，以指示信息的來源。這可用於實現基於文檔的總結和檢索增強生成（RAG）的最後一步。

你可以使用 apply_grounded_generation_template() 函數渲染基於文檔的生成提示模板。以下是一個最小的工作示例：

from transformers import AutoTokenizer

model_id = "CohereLabs/c4ai-command-r-plus-08-2024"
tokenizer = AutoTokenizer.from_pretrained(model_id)

# define conversation input:
conversation = [
    {"role": "user", "content": "Whats the biggest penguin in the world?"}
]
# define documents to ground on:
documents = [
    { "title": "Tall penguins", "text": "Emperor penguins are the tallest growing up to 122 cm in height." }, 
    { "title": "Penguin habitats", "text": "Emperor penguins only live in Antarctica."}
]

# render the tool use prompt as a string:
grounded_generation_prompt = tokenizer.apply_grounded_generation_template(
    conversation,
    documents=documents,
    citation_mode="accurate", # or "fast"
    tokenize=False,
    add_generation_prompt=True,
)
print(grounded_generation_prompt)

單步工具使用能力（“函數調用”）

單步工具使用（或“函數調用”）允許Command R+ 08-2024與外部工具（如API、數據庫或搜索引擎）進行交互。單步工具使用由兩個模型推理步驟組成：

1. 工具選擇：模型決定調用哪些工具以及使用哪些參數。然後由開發人員執行這些工具調用並獲取工具結果。
2. 響應生成：模型根據工具結果生成最終響應。

你可以使用 apply_tool_use_template() 函數渲染單步工具使用提示模板。以下是一個最小的工作示例：

from transformers import AutoTokenizer

model_id = "CohereLabs/c4ai-command-r-plus-08-2024"
tokenizer = AutoTokenizer.from_pretrained(model_id)

# define conversation input:
conversation = [
    {"role": "user", "content": "Whats the biggest penguin in the world?"}
]
# Define tools available for the model to use:
tools = [
  {
    "name": "internet_search",
    "description": "Returns a list of relevant document snippets for a textual query retrieved from the internet",
    "parameter_definitions": {
      "query": {
        "description": "Query to search the internet with",
        "type": 'str',
        "required": True
      }
    }
  },
  {
    'name': "directly_answer",
    "description": "Calls a standard (un-augmented) AI chatbot to generate a response given the conversation history",
    'parameter_definitions': {}
  }
]

# render the tool use prompt as a string:
tool_use_prompt = tokenizer.apply_tool_use_template(
    conversation,
    tools=tools,
    tokenize=False,
    add_generation_prompt=True,
)
print(tool_use_prompt)

多步工具使用能力（“代理”）

多步工具使用適用於構建能夠使用多個工具規劃和執行一系列操作的代理。與單步工具使用不同，模型可以執行多個推理週期，通過“行動 → 觀察 → 反思”的循環，直到決定最終響應。

有關多步工具使用的詳細信息，請參閱我們的 文檔。

代碼交互能力

Command R+ 08-2024經過優化，可與代碼進行交互，如請求代碼片段、代碼解釋或代碼重寫。對於純代碼完成任務，可能無法直接達到最佳性能。為了獲得更好的性能，我們建議在代碼生成相關指令中使用較低的溫度（甚至貪婪解碼）。

📄 許可證

該模型受 CC-BY-NC 許可證的約束，同時需要遵守 Cohere Lab的可接受使用政策。

引用

如需引用此模型，請使用以下格式：

@misc {cohere_for_ai_2024,
    author       = { {Cohere Labs} },
    title        = { c4ai-command-r-plus-08-2024 },
    year         = 2024,
    url          = { https://huggingface.co/CohereLabs/c4ai-command-r-plus-08-2024 },
    doi          = { 10.57967/hf/3135 },
    publisher    = { Hugging Face }
}

模型卡片聯繫信息

如有關於此模型卡片詳細信息的錯誤或其他問題，請聯繫 labs@cohere.com。

試用聊天

你可以在 此處 的遊樂場中試用Command R+ 08-2024聊天功能。你也可以在我們專門的Hugging Face Space 此處 中使用它。