Cogito V1 Preview Qwen 32B Exl2 4.65bpw

🚀 Cogito v1預覽版 - 32B

Cogito是經過指令調優的生成式大語言模型（文本輸入/文本輸出），所有模型均在開放許可下發布，可用於商業用途。該模型具有混合推理能力，支持多語言、編碼和工具調用，在常見行業基準測試中表現出色。

博客文章

✨ 主要特性

• 混合推理能力：Cogito模型是混合推理模型，每個模型既可以直接回答問題（標準大語言模型模式），也可以在回答前進行自我反思（類似推理模型）。
• 先進的訓練策略：這些大語言模型使用迭代蒸餾與放大（Iterated Distillation and Amplification，IDA） 進行訓練，這是一種可擴展且高效的對齊策略，通過迭代自我改進實現超級智能。
• 多方面能力優化：模型在編碼、STEM、指令遵循和通用實用性方面進行了優化，在多語言、編碼和工具調用能力上顯著高於同等規模的同類模型。在標準和推理模式下，Cogito v1預覽版模型在常見行業基準測試中均優於同等規模的同類模型。
• 多語言支持與長上下文：每個模型使用30多種語言進行訓練，並支持128k的上下文長度。

📚 詳細文檔

評估

我們將模型在直接模式和推理模式下與同等規模的先進模型進行了比較。在直接模式下，我們與Llama / Qwen的指令模型進行比較；在推理模式下，我們使用Deepseek的R1蒸餾模型 / Qwen的QwQ模型進行對比。

Livebench全球平均得分：

如需詳細評估，請參考博客文章。

💻 使用示例

基礎用法

以下是使用Transformers庫調用模型的示例代碼：

import transformers
import torch

model_id = "deepcogito/cogito-v1-preview-qwen-32B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Give me a short introduction to LLMs."},
]

outputs = pipeline(
    messages,
    max_new_tokens=512,
)

print(outputs[0]["generated_text"][-1])

高級用法

啟用深度思考

• 默認情況下，模型將以標準模式回答問題。
• 若要啟用思考模式，可通過以下兩種方法之一實現：
  • 方法一：添加特定系統提示 若要啟用思考模式，只需在系統提示中使用 system_instruction = 'Enable deep thinking subroutine.'。若已有系統提示，則使用 system_instruction = 'Enable deep thinking subroutine.' + '\n\n' + system_instruction。

import transformers
import torch

model_id = "deepcogito/cogito-v1-preview-qwen-32B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

DEEP_THINKING_INSTRUCTION = "Enable deep thinking subroutine."

messages = [
    {"role": "system", "content": DEEP_THINKING_INSTRUCTION},
    {"role": "user", "content": "Write a bash script that takes a matrix represented as a string with format '[1,2],[3,4],[5,6]' and prints the transpose in the same format."},
]

outputs = pipeline(
    messages,
    max_new_tokens=512,
)

print(outputs[0]["generated_text"][-1])

若已有系統提示，可按以下方式將 DEEP_THINKING_INSTRUCTION 添加到開頭：

DEEP_THINKING_INSTRUCTION = "Enable deep thinking subroutine."

system_prompt = "Reply to each prompt with only the actual code - no explanations."
prompt = "Write a bash script that takes a matrix represented as a string with format '[1,2],[3,4],[5,6]' and prints the transpose in the same format."

messages = [
    {"role": "system", "content": DEEP_THINKING_INSTRUCTION + '\n\n' + system_prompt},
    {"role": "user", "content": prompt}
]

• 方法二：在分詞器中設置 enable_thinking=True 如果你使用Huggingface分詞器，可以在應用聊天模板時添加參數 enable_thinking=True。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "deepcogito/cogito-v1-preview-qwen-32B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Give me a short introduction to LLMs."
messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

工具調用

Cogito模型在標準和擴展思考模式下均支持工具調用（單工具、並行、多工具和並行多工具）。

# First, define a tool
def get_current_temperature(location: str) -> float:
    """
    Get the current temperature at a location.
    
    Args:
        location: The location to get the temperature for, in the format "City, Country"
    Returns:
        The current temperature at the specified location in the specified units, as a float.
    """
    return 22.  # A real function should probably actually get the temperature!

# Next, create a chat and apply the chat template
messages = [
  {"role": "user", "content": "Hey, what's the temperature in Paris right now?"}
]

model_inputs = tokenizer.apply_chat_template(messages, tools=[get_current_temperature], add_generation_prompt=True)

text = tokenizer.apply_chat_template(messages, tools=[get_current_temperature], add_generation_prompt=True, tokenize=False)
inputs = tokenizer(text, return_tensors="pt", add_special_tokens=False).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=512)
output_text = tokenizer.batch_decode(outputs)[0][len(text):]
print(output_text)

這將產生以下輸出：

<tool_call>
{"name": "get_current_temperature", "arguments": {"location": "Paris, France"}}
</tool_call><|im_end|>

你可以像往常一樣從這個輸入生成文本。如果模型生成了工具調用，你應該將其添加到聊天中：

tool_call = {"name": "get_current_temperature", "arguments": {"location": "Paris, France"}}
messages.append({"role": "assistant", "tool_calls": [{"type": "function", "function": tool_call}]})

然後調用工具並將結果以 tool 角色添加到聊天中：

messages.append({"role": "tool", "name": "get_current_temperature", "content": "22.0"})

之後，你可以再次調用 generate() 讓模型在聊天中使用工具結果：

text = tokenizer.apply_chat_template(messages, tools=[get_current_temperature], add_generation_prompt=True, tokenize=False)
inputs = tokenizer(text, return_tensors="pt", add_special_tokens=False).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=512)
output_text = tokenizer.batch_decode(outputs)[0][len(text):]

這將產生以下字符串輸出：

'The current temperature in Paris is 22.0 degrees.<|im_end|>'

📄 許可證

本倉庫和模型權重遵循Apache 2.0許可協議。

📞 聯繫我們

如果您想聯繫我們的團隊，請發送電子郵件至 contact@deepcogito.com。