Blake XTM Arc 3B V1 GGUF

🚀 Blake-XTM-Arc-3B-V1的GGUF文件

這些是 Flexan/Blake-XTM-Arc-3B-V1 的GGUF文件。該項目提供了用於文本生成的3B大語言模型相關資源，可進行推理並可選擇調用工具。

📦 模型信息

📄 GGUF文件鏈接

📚 詳細文檔

模型描述

Blake-XTM Arc 3B (V1) 是一個具有30億參數的指令大語言模型，經過訓練可進行思考，並可選擇調用工具。它僅支持在每個助手消息中使用一個工具（不支持並行工具調用）。該模型以 microsoft/phi-2 為基礎模型進行了LoRA微調。

聊天格式

Blake-XTM Arc 3B (V1) 使用ChatML格式，例如：

<|im_start|>system
系統消息<|im_end|>
<|im_start|>user
用戶提示<|im_end|>
<|im_start|>assistant
助手回覆<|im_end|>

模型使用

助手回覆可以有以下三種格式（內容為示例，並非由模型生成）：

1. 僅回覆：

   <|im_start|>assistant
   你好！今天我能為你提供什麼幫助？<|im_end|>
   

2. 思考過程和回覆：

   <|im_start|>assistant
   <|think_start|>用戶用簡單的消息向我打招呼。我應該思考如何回覆他們。
   
   由於用戶發送了簡單的問候，我應該用與之熱情程度相匹配的問候語回覆。
   
   好的，我可以用“你好！我能幫你做什麼？”這樣的消息回覆。<|think_end|>
   
   你好！今天我能為你提供什麼幫助？<|im_end|>
   

3. 思考過程和工具調用：

   <|im_start|>assistant
   <|think_start|>用戶要求我查找巴黎附近的所有餐廳。嗯……讓我仔細思考一下。
   
   我發現有一個名為 'find_restaurants' 的工具可用，我可以用它來完成這個任務。
   
   好的，我應該使用 `find_restaurants` 工具來查找巴黎附近的餐廳。對於 `city` 參數，我將使用 'Paris'，對於 `country` 參數，我將填寫 `France`。
   
   好的，我現在可以進行工具調用了。<|think_end|>
   
   <|tool_start|>{'name': 'find_restaurants', 'arguments': {'city': 'Paris', 'country': 'France'}}<|tool_end|><|im_end|>
   

系統提示建議

建議根據不同情況使用以下系統提示：

• 僅思考過程：

  你是一個高級推理模型。
  
  你在 <|think_start|>...<|think_end|> 標籤之間進行思考。如果用戶的請求涉及數學或邏輯思考/推理，你必須進行思考。
  

• 思考過程和工具調用：

  你是一個具有工具調用能力的高級推理模型。
  
  你在 <|think_start|>...<|think_end|> 標籤之間進行思考。如果用戶的請求涉及數學、邏輯思考/推理，或者你想考慮使用工具時，你必須進行思考。
  
  # 工具
  你可以使用以下工具：
  [{'type': 'function', 'function': {'name': 'convert_currency', 'description': '將一種貨幣轉換為另一種貨幣', 'parameters': {'type': 'object', 'properties': {'amount': {'type': 'number', 'description': '要轉換的金額'}, 'from_currency': {'type': 'string', 'description': '要轉換的貨幣'}, 'to_currency': {'type': 'string', 'description': '轉換後的貨幣'}}, 'required': ['amount', 'from_currency', 'to_currency']}}}, {'type': 'function', 'function': {'name': 'get_random_joke', 'description': '獲取一個隨機笑話', 'parameters': {'type': 'object', 'properties': {}, 'required': []}}}] </tools>對於你進行的每個工具調用，請使用以下pydantic模型JSON架構： {'title': 'FunctionCall', 'type': 'object', 'properties': {'arguments': {'title': 'Arguments', 'type': 'object'}, 'name': {'title': 'Name', 'type': 'string'}}, 'required': ['arguments', 'name']}
  
  要調用工具，請在 <|tool_start|>...<|tool_end|> 內寫入包含名稱和參數的JSON對象。
  

工具響應回覆

要使用工具響應進行回覆，你可以以 tool 用戶的身份發送消息：

<|im_start|>assistant
<|think_start|>用戶要求我查找巴黎附近的所有餐廳。嗯……讓我仔細思考一下。

我發現有一個名為 'find_restaurants' 的工具可用，我可以用它來完成這個任務。

好的，我應該使用 `find_restaurants` 工具來查找巴黎附近的餐廳。對於 `city` 參數，我將使用 'Paris'，對於 `country` 參數，我將填寫 `France`。

好的，我現在可以進行工具調用了。<|think_end|>

<|tool_start|>{'name': 'find_restaurants', 'arguments': {'city': 'Paris', 'country': 'France'}}<|tool_end|><|im_end|>
<|im_start|>tool
{'restaurants': [{'name': '一家餐廳名稱', 'rating': 4.5}]}<|im_end|>

📄 許可證

本項目採用CC BY-SA 4.0許可證。