Gemma 2 9b It Russian Function Calling GGUF

🚀 DiTy/gemma-2-9b-it-russian-function-calling-GGUF

本模型是 google/gemma-2-9b-it 的微調版本，用於在非合成數據上執行 函數調用 任務。這些數據僅由人工進行了完整註釋，來自俄語版的 DiTy/function-calling 數據集。

除了 safetensors 格式外，該模型還提供 GGUF 格式（在這種情況下，您只需下載單個文件（如何推理 GGUF 模型））：

📚 模型卡片章節

• 如何為 函數調用 準備您的函數（工具）
• 直接使用聊天模板進行生成
• 提示結構和預期內容
• 函數調用模型評估

🚀 快速開始

📦 安裝指南

首先，您需要安裝 transformers 庫：

pip install -U transformers

💻 使用示例

基礎用法

如何為 函數調用 準備您的函數（工具）

您需要用 Python 代碼 編寫模型使用的函數（工具），並務必添加 Python 文檔字符串，如下例所示：

def get_weather(city: str):
    """
    該函數用於返回指定城市的天氣情況。
    
    參數:
        city: 需要查詢天氣的城市。
    """
    import random
    
    return "sunny" if random.random() > 0.5 else "rainy"


def get_sunrise_sunset_times(city: str):
    """
    該函數用於返回指定城市當前日期的日出和日落時間（無需用戶提供日期），格式為列表：[日出時間, 日落時間]。
    
    參數:
        city: 可以查詢日出和日落時間的城市。
    """

    return ["6:00", "18:00"]

直接使用聊天模板進行生成

接下來，您需要加載模型和分詞器：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
    "DiTy/gemma-2-9b-it-russian-function-calling-GGUF",
    device_map="auto",
    torch_dtype=torch.bfloat16,  # 如果您的環境不支持 bfloat16，可以使用 float16 或 float32。
    cache_dir=PATH_TO_MODEL_DIR,  # 可選
)
tokenizer = AutoTokenizer.from_pretrained(
    "DiTy/gemma-2-9b-it-russian-function-calling-GGUF",
    cache_dir=PATH_TO_MODEL_DIR,  # 可選
)

要獲得生成結果，只需使用 apply_chat_template。為了考慮我們編寫的函數（工具），我們需要通過 tools 屬性將它們作為列表傳遞，並使用 add_prompt_generation=True：

history_messages = [
    {"role": "system", "content": "你是一個有用的助手，可以使用以下函數。如有需要，請使用它們 - "},
    {"role": "user", "content": "你好，你能告訴我克拉斯諾達爾的日出時間嗎？"}
]
inputs = tokenizer.apply_chat_template(
    history_messages,
    tokenize=False,
    add_generation_prompt=True,  # 添加生成提示
    tools=[get_weather, get_sunrise_sunset_times],  # 我們的函數（工具）
)
print(inputs)

此時，我們的 inputs 將如下所示：

<bos><start_of_turn>user
你是一個有用的助手，可以使用以下函數。如有需要，請使用它們 - {
    "name": "get_weather",
    "description": "該函數用於返回指定城市的天氣情況。",
    "parameters": {
        "type": "object",
        "properties": {
            "city": {
                "type": "string",
                "description": "需要查詢天氣的城市。"
            }
        },
        "required": [
            "city"
        ]
    }
},
{
    "name": "get_sunrise_sunset_times",
    "description": "該函數用於返回指定城市當前日期的日出和日落時間（無需用戶提供日期），格式為列表：[日出時間, 日落時間]。",
    "parameters": {
        "type": "object",
        "properties": {
            "city": {
                "type": "string",
                "description": "可以查詢日出和日落時間的城市。"
            }
        },
        "required": [
            "city"
        ]
    }
}

你好，你能告訴我克拉斯諾達爾的日出時間嗎？<end_of_turn>
<start_of_turn>model

現在，我們可以生成模型的響應。請注意，在使用 apply_chat_template 之後，在分詞時不需要 添加特殊標記。因此，我們使用 add_special_tokens=False：

terminator_ids = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<end_of_turn>"),
]
prompt_ids =  tokenizer.encode(inputs, add_special_tokens=False, return_tensors='pt').to(model.device)
generated_ids = model.generate(
    prompt_ids,
    max_new_tokens=512,
    eos_token_id=terminator_ids,
    bos_token_id=tokenizer.bos_token_id,
)
generated_response = tokenizer.decode(generated_ids[0][prompt_ids.shape[-1]:], skip_special_tokens=False)  # `skip_special_tokens=False` 用於調試
print(generated_response)

我們得到的生成結果是一個函數調用：

函數調用: {"name": "get_sunrise_sunset_times", "arguments": {"city": "克拉斯諾達爾"}}<end_of_turn>

很好，現在我們可以使用我們的 可調用函數 獲取並處理結果，然後向模型提供 函數 的響應：

history_messages = [
    {"role": "system", "content": "你是一個有用的助手，可以使用以下函數。如有需要，請使用它們 - "},
    {"role": "user", "content": "你好，你能告訴我克拉斯諾達爾的日出時間嗎？"},
    {"role": "function-call", "content": '{"name": "get_sunrise_sunset_times", "arguments": {"city": "Los Angeles"}}'},
    {"role": "function-response", "content": '{"times_list": ["6:00", "18:00"]}'},  # 假設我們的函數返回的響應
]
inputs = tokenizer.apply_chat_template(
    history_messages,
    tokenize=False,
    add_generation_prompt=True,  # 添加生成提示
    tools=[get_weather, get_sunrise_sunset_times],  # 我們的函數（工具）
)
print(inputs)

讓我們確保 inputs 是正確的：

<bos><start_of_turn>user
你是一個有用的助手，可以使用以下函數。如有需要，請使用它們 - {
    "name": "get_weather",
    "description": "該函數用於返回指定城市的天氣情況。",
    "parameters": {
        "type": "object",
        "properties": {
            "city": {
                "type": "string",
                "description": "需要查詢天氣的城市。"
            }
        },
        "required": [
            "city"
        ]
    }
},
{
    "name": "get_sunrise_sunset_times",
    "description": "該函數用於返回指定城市當前日期的日出和日落時間（無需用戶提供日期），格式為列表：[日出時間, 日落時間]。",
    "parameters": {
        "type": "object",
        "properties": {
            "city": {
                "type": "string",
                "description": "可以查詢日出和日落時間的城市。"
            }
        },
        "required": [
            "city"
        ]
    }
}

你好，你能告訴我克拉斯諾達爾的日出時間嗎？<end_of_turn>
<start_of_turn>model
函數調用: {"name": "get_sunrise_sunset_times", "arguments": {"city": "克拉斯諾達爾"}}<end_of_turn>
<start_of_turn>user
函數響應: {"times_list": ["6:00", "18:00"]}<end_of_turn>
<start_of_turn>model

同樣，我們生成模型的響應：

prompt_ids =  tokenizer.encode(inputs, add_special_tokens=False, return_tensors='pt').to(model.device)
generated_ids = model.generate(
    prompt_ids,
    max_new_tokens=512,
    eos_token_id=terminator_ids,
    bos_token_id=tokenizer.bos_token_id,
)
generated_response = tokenizer.decode(generated_ids[0][prompt_ids.shape[-1]:], skip_special_tokens=False)  # `skip_special_tokens=False` 用於調試
print(generated_response)

結果，我們得到了模型的響應：

克拉斯諾達爾的日出時間是早上 6:00，日落時間是晚上 18:00。<end_of_turn>

高級用法

使用 transformers 的 pipeline 進行生成

from transformers import pipeline
generation_pipeline = pipeline(
    "text-generation",
    model="DiTy/gemma-2-9b-it-russian-function-calling-GGUF",
    model_kwargs={
        "torch_dtype": torch.bfloat16,  # 如果您的環境不支持 bfloat16，可以使用 float16 或 float32。 
        "cache_dir": PATH_TO_MODEL_DIR,  # 可選
    },
    device_map="auto",
)
history_messages = [
    {"role": "system", "content": "你是一個有用的助手，可以使用以下函數。如有需要，請使用它們 - "},
    {"role": "user", "content": "你好，你能告訴我克拉斯諾達爾的日出時間嗎？"},
    {"role": "function-call", "content": '{"name": "get_sunrise_sunset_times", "arguments": {"city": "克拉斯諾達爾"}}'},
    {"role": "function-response", "content": '{"times_list": ["6:00", "18:00"]}'}
]
inputs = generation_pipeline.tokenizer.apply_chat_template(
    history_messages,
    tokenize=False,
    add_generation_prompt=True,
    tools=[get_weather, get_sunrise_sunset_times],
)
terminator_ids = [
    generation_pipeline.tokenizer.eos_token_id,
    generation_pipeline.tokenizer.convert_tokens_to_ids("<end_of_turn>")
]
outputs = generation_pipeline(
    inputs,
    max_new_tokens=512,
    eos_token_id=terminator_ids,
)
print(outputs[0]["generated_text"][len(inputs):])

📚 詳細文檔

提示結構和預期內容

為了使模型正常工作，建議使用 apply_chat_template。您需要以特定格式傳遞消息歷史記錄：

history_messages = [
    {"role": "...", "content": "..."},
    ...
]

可用的角色如下：

• system - 這是一個可選角色，其內容始終位於最前面，並在列出模型可用的函數（工具）之前。您可以始終使用訓練期間使用的標準模板："你是一個有用的助手，可以使用以下函數。如有需要，請使用它們 - "
• user - 用戶的請求通過此角色傳遞。
• function-call - 函數調用的主體通過此角色傳遞。儘管模型經過訓練以生成 "函數調用: {...}<end_of_turn>" 形式的函數調用，但您仍然只需在 "content" 字段中傳遞主體 "{...}"，因為使用 apply_chat_template 時，指令中的後綴會自動添加。
• function-response - 在這個角色中，我們需要以字典 '{"name_returnable_value": value}' 的形式在 "content" 字段中傳遞函數的響應。
• model - 與此角色相關的內容被視為模型生成的文本。

函數調用的聊天曆史結構

[
    {"role": "system", "content": "你是一個有用的助手，可以使用以下函數。如有需要，請使用它們 - "},
    {"role": "user", "content": "你好，你能告訴我克拉斯諾達爾的日出時間嗎？"},
    {"role": "function-call", "content": '{"name": "get_sunrise_sunset_times", "arguments": {"city": "克拉斯諾達爾"}}'},
    {"role": "function-response", "content": '{"times_list": ["6:00", "18:00"]}'}
]

這看起來像：

<bos><start_of_turn>user
你是一個有用的助手，可以使用以下函數。如有需要，請使用它們 - {
    "name": "get_weather",
    "description": "該函數用於返回指定城市的天氣情況。",
    "parameters": {
        "type": "object",
        "properties": {
            "city": {
                "type": "string",
                "description": "需要查詢天氣的城市。"
            }
        },
        "required": [
            "city"
        ]
    }
},
{
    "name": "get_sunrise_sunset_times",
    "description": "該函數用於返回指定城市當前日期的日出和日落時間（無需用戶提供日期），格式為列表：[日出時間, 日落時間]。",
    "parameters": {
        "type": "object",
        "properties": {
            "city": {
                "type": "string",
                "description": "可以查詢日出和日落時間的城市。"
            }
        },
        "required": [
            "city"
        ]
    }
}

你好，你能告訴我克拉斯諾達爾的日出時間嗎？<end_of_turn>
<start_of_turn>model
函數調用: {"name": "get_sunrise_sunset_times", "arguments": {"city": "克拉斯諾達爾"}}<end_of_turn>
<start_of_turn>user
函數響應: {"times_list": ["6:00", "18:00"]}<end_of_turn>

普通用戶 - 模型模板的聊天曆史結構

[
    {"role": "system", "content": "你是一個友好的助手"},
    {"role": "user", "content": "給我講講莫斯科"}
]

這看起來像：

<bos><start_of_turn>user
你是一個友好的助手

給我講講莫斯科<end_of_turn>

🔧 技術細節

模型評估

在訓練過程中，驗證損失接近以下值：

📄 許可證

本模型採用 apache-2.0 許可證。

📖 引用

@article{gemma_2024,
    title={Gemma},
    url={https://www.kaggle.com/m/3301},
    DOI={10.34740/KAGGLE/M/3301},
    publisher={Kaggle},
    author={Gemma Team},
    year={2024}
}