Qwen2 7B Instruct

🚀 Rubra-Qwen2-7B-Instruct

本模型是基於Qwen/Qwen2-7B-Instruct進行進一步後訓練得到的成果，能夠處理複雜的多輪工具/函數調用任務。

🚀 快速開始

本模型可結合Hugging Face的transformers庫以及rubra庫 rubra-tools 使用。

✨ 主要特性

• 基於Qwen/Qwen2-7B-Instruct進一步後訓練。
• 能夠進行復雜的多輪工具/函數調用。

📦 安裝指南

安裝Python依賴

pip install rubra_tools torch==2.3.0 transformers accelerate

安裝Node.js和npm依賴

你還需要安裝Node.js和npm，然後安裝jsonrepair包，用於修復模型偶爾產生的幻覺問題。

npm install jsonrepair

💻 使用示例

基礎用法

1. 加載模型

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
from rubra_tools import preprocess_input, postprocess_output

model_id = "rubra-ai/Qwen2-7B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="auto",
    device_map="auto",
)

2. 定義函數

這裡我們使用4個函數來處理一個簡單的數學鏈式問題：

functions = [
    {
            'type': 'function',
            'function': {
                'name': 'addition',
                'description': "Adds two numbers together",
                'parameters': {
                    'type': 'object',
                    'properties': {
                        'a': {
                            'description': 'First number to add',
                            'type': 'string'
                        },
                        'b': {
                            'description': 'Second number to add',
                            'type': 'string'
                        }
                    },
                    'required': []
                }
            }
        },
        {
            'type': 'function',
            'function': {
                'name': 'subtraction',
                'description': "Subtracts two numbers",
                'parameters': {
                    'type': 'object',
                    'properties': {
                        'a': {
                            'description': 'First number to be subtracted from',
                            'type': 'string'
                        },
                        'b': {
                            'description': 'Number to subtract',
                            'type': 'string'
                        }
                    },
                    'required': []
                }
            }
        },
        {
            'type': 'function',
            'function': {
                'name': 'multiplication',
                'description': "Multiply two numbers together",
                'parameters': {
                    'type': 'object',
                    'properties': {
                        'a': {
                            'description': 'First number to multiply',
                            'type': 'string'
                        },
                        'b': {
                            'description': 'Second number to multiply',
                            'type': 'string'
                        }
                    },
                    'required': []
                }
            }
        },
        {
            'type': 'function',
            'function': {
                'name': 'division',
                'description': "Divide two numbers",
                'parameters': {
                    'type': 'object',
                    'properties': {
                        'a': {
                            'description': 'First number to use as the dividend',
                            'type': 'string'
                        },
                        'b': {
                            'description': 'Second number to use as the divisor',
                            'type': 'string'
                        }
                    },
                    'required': []
                }
            }
        },
]

3. 開始對話

messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "What is the result of four plus six? Take the result and add 2? Then multiply by 5 and then divide by two"},
]

def run_model(messages, functions):
    ## Format messages in Rubra's format
    formatted_msgs = preprocess_input(msgs=messages, tools=functions)

    text = tokenizer.apply_chat_template(
        formatted_msgs,
        tokenize=False,
        add_generation_prompt=True
    )
    model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

    generated_ids = model.generate(
        model_inputs.input_ids,
        max_new_tokens=512
    )
    generated_ids = [
        output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
    ]

    response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
    return response


raw_output = run_model(messages, functions)
# Check if there's a function call
function_call = postprocess_output(raw_output)
if function_call:
    print(function_call)
else:
    print(raw_output)

你應該會看到如下輸出，這是AI助手發起的函數調用：

[{'id': 'fc65a533', 'function': {'name': 'addition', 'arguments': '{"a": "4", "b": "6"}'}, 'type': 'function'}]

4. 將執行的工具結果添加到消息歷史並繼續對話

if function_call:
    # append the assistant tool call msg
    messages.append({"role": "assistant", "tool_calls": function_call})
    # append the result of the tool call in openai format, in this case, the value of add 6 to 4 is 10.
    messages.append({'role': 'tool', 'tool_call_id': function_call[0]["id"], 'name': function_call[0]["function"]["name"], 'content': '10'})
    raw_output1 = run_model(messages, functions)
    # Check if there's a function call

    function_call = postprocess_output(raw_output1)
    if function_call:
        print(function_call)
    else:
        print(raw_output)

大語言模型會發起另一個調用：

[{'id': '2ffc3de4', 'function': {'name': 'addition', 'arguments': '{"a": "10", "b": "2"}'}, 'type': 'function'}]

📚 詳細文檔

框架版本

• Transformers 4.41.2
• Pytorch 2.3.1+cu121
• Datasets 2.19.2
• Tokenizers 0.19.1

侷限性和偏差

儘管該模型在眾多任務上表現出色，但仍可能產生有偏差或錯誤的輸出。在敏感或高風險應用中使用該模型時，用戶應謹慎並進行批判性判斷。模型的輸出受其訓練數據的影響，而這些數據可能存在固有偏差。

倫理考量

用戶應確保該模型的部署符合倫理準則，並考慮生成文本可能產生的社會影響。強烈反對將該模型用於生成有害或誤導性內容。

致謝

我們感謝阿里雲提供了該模型。

聯繫信息

如有關於該模型的問題或建議，請聯繫 rubra團隊。

引用信息

如果使用此模型，請按以下格式引用：

@misc {rubra_ai_2024,
	author       = { Sanjay Nadhavajhala and Yingbei Tong },
	title        = { Rubra-Qwen2-7B-Instruct },
	year         = 2024,
	url          = { https://huggingface.co/rubra-ai/Qwen2-7B-Instruct },
	doi          = { 10.57967/hf/2683 },
	publisher    = { Hugging Face }
}

信息表格

提示信息

⚠️ 重要提示

儘管該模型在眾多任務上表現出色，但仍可能產生有偏差或錯誤的輸出。在敏感或高風險應用中使用該模型時，用戶應謹慎並進行批判性判斷。

💡 使用建議

用戶應確保該模型的部署符合倫理準則，並考慮生成文本可能產生的社會影響。強烈反對將該模型用於生成有害或誤導性內容。