Qwen2 7B Instruct

🚀 Rubra-Qwen2-7B-Instruct

本模型是基于Qwen/Qwen2-7B-Instruct进行进一步后训练得到的成果，能够处理复杂的多轮工具/函数调用任务。

🚀 快速开始

本模型可结合Hugging Face的transformers库以及rubra库 rubra-tools 使用。

✨ 主要特性

• 基于Qwen/Qwen2-7B-Instruct进一步后训练。
• 能够进行复杂的多轮工具/函数调用。

📦 安装指南

安装Python依赖

pip install rubra_tools torch==2.3.0 transformers accelerate

安装Node.js和npm依赖

你还需要安装Node.js和npm，然后安装jsonrepair包，用于修复模型偶尔产生的幻觉问题。

npm install jsonrepair

💻 使用示例

基础用法

1. 加载模型

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
from rubra_tools import preprocess_input, postprocess_output

model_id = "rubra-ai/Qwen2-7B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="auto",
    device_map="auto",
)

2. 定义函数

这里我们使用4个函数来处理一个简单的数学链式问题：

functions = [
    {
            'type': 'function',
            'function': {
                'name': 'addition',
                'description': "Adds two numbers together",
                'parameters': {
                    'type': 'object',
                    'properties': {
                        'a': {
                            'description': 'First number to add',
                            'type': 'string'
                        },
                        'b': {
                            'description': 'Second number to add',
                            'type': 'string'
                        }
                    },
                    'required': []
                }
            }
        },
        {
            'type': 'function',
            'function': {
                'name': 'subtraction',
                'description': "Subtracts two numbers",
                'parameters': {
                    'type': 'object',
                    'properties': {
                        'a': {
                            'description': 'First number to be subtracted from',
                            'type': 'string'
                        },
                        'b': {
                            'description': 'Number to subtract',
                            'type': 'string'
                        }
                    },
                    'required': []
                }
            }
        },
        {
            'type': 'function',
            'function': {
                'name': 'multiplication',
                'description': "Multiply two numbers together",
                'parameters': {
                    'type': 'object',
                    'properties': {
                        'a': {
                            'description': 'First number to multiply',
                            'type': 'string'
                        },
                        'b': {
                            'description': 'Second number to multiply',
                            'type': 'string'
                        }
                    },
                    'required': []
                }
            }
        },
        {
            'type': 'function',
            'function': {
                'name': 'division',
                'description': "Divide two numbers",
                'parameters': {
                    'type': 'object',
                    'properties': {
                        'a': {
                            'description': 'First number to use as the dividend',
                            'type': 'string'
                        },
                        'b': {
                            'description': 'Second number to use as the divisor',
                            'type': 'string'
                        }
                    },
                    'required': []
                }
            }
        },
]

3. 开始对话

messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "What is the result of four plus six? Take the result and add 2? Then multiply by 5 and then divide by two"},
]

def run_model(messages, functions):
    ## Format messages in Rubra's format
    formatted_msgs = preprocess_input(msgs=messages, tools=functions)

    text = tokenizer.apply_chat_template(
        formatted_msgs,
        tokenize=False,
        add_generation_prompt=True
    )
    model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

    generated_ids = model.generate(
        model_inputs.input_ids,
        max_new_tokens=512
    )
    generated_ids = [
        output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
    ]

    response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
    return response


raw_output = run_model(messages, functions)
# Check if there's a function call
function_call = postprocess_output(raw_output)
if function_call:
    print(function_call)
else:
    print(raw_output)

你应该会看到如下输出，这是AI助手发起的函数调用：

[{'id': 'fc65a533', 'function': {'name': 'addition', 'arguments': '{"a": "4", "b": "6"}'}, 'type': 'function'}]

4. 将执行的工具结果添加到消息历史并继续对话

if function_call:
    # append the assistant tool call msg
    messages.append({"role": "assistant", "tool_calls": function_call})
    # append the result of the tool call in openai format, in this case, the value of add 6 to 4 is 10.
    messages.append({'role': 'tool', 'tool_call_id': function_call[0]["id"], 'name': function_call[0]["function"]["name"], 'content': '10'})
    raw_output1 = run_model(messages, functions)
    # Check if there's a function call

    function_call = postprocess_output(raw_output1)
    if function_call:
        print(function_call)
    else:
        print(raw_output)

大语言模型会发起另一个调用：

[{'id': '2ffc3de4', 'function': {'name': 'addition', 'arguments': '{"a": "10", "b": "2"}'}, 'type': 'function'}]

📚 详细文档

框架版本

• Transformers 4.41.2
• Pytorch 2.3.1+cu121
• Datasets 2.19.2
• Tokenizers 0.19.1

局限性和偏差

尽管该模型在众多任务上表现出色，但仍可能产生有偏差或错误的输出。在敏感或高风险应用中使用该模型时，用户应谨慎并进行批判性判断。模型的输出受其训练数据的影响，而这些数据可能存在固有偏差。

伦理考量

用户应确保该模型的部署符合伦理准则，并考虑生成文本可能产生的社会影响。强烈反对将该模型用于生成有害或误导性内容。

致谢

我们感谢阿里云提供了该模型。

联系信息

如有关于该模型的问题或建议，请联系 rubra团队。

引用信息

如果使用此模型，请按以下格式引用：

@misc {rubra_ai_2024,
	author       = { Sanjay Nadhavajhala and Yingbei Tong },
	title        = { Rubra-Qwen2-7B-Instruct },
	year         = 2024,
	url          = { https://huggingface.co/rubra-ai/Qwen2-7B-Instruct },
	doi          = { 10.57967/hf/2683 },
	publisher    = { Hugging Face }
}

信息表格

提示信息

⚠️ 重要提示

尽管该模型在众多任务上表现出色，但仍可能产生有偏差或错误的输出。在敏感或高风险应用中使用该模型时，用户应谨慎并进行批判性判断。

💡 使用建议

用户应确保该模型的部署符合伦理准则，并考虑生成文本可能产生的社会影响。强烈反对将该模型用于生成有害或误导性内容。