Thinkagain1.5

🚀 ThinkAgain1.5模型

ThinkAgain1.5是一款强大的文本生成模型，具备自然且智能的推理能力，支持工具调用，无需系统提示训练，在多种语言场景下都能发挥作用。

🚀 快速开始

模型详情

• 推理能力：推理自然且智能。
• 训练方式：无需系统提示训练，LoRA训练秩为16，alpha值为16。
• 功能特性：支持工具调用。
• 量化提示：量化此模型可能无法获得最佳性能。

支持的语言

该模型支持多种语言，包括中文、英语、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语和阿拉伯语。

许可证

本模型使用Apache-2.0许可证。

基础模型

基于Qwen/Qwen2.5 - 7B - Instruct基础模型。

标签

• text - generation - inference
• transformers
• qwen2
• trl
• sft

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

MAX_REASONING_TOKENS = 4096
MAX_RESPONSE_TOKENS = 1024

model_name = "beyoru/ThinkAgain1.5"

model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

messages = []

def stream_output(output_text):
    for char in output_text:
        print(char, end="", flush=True)

while True:
    prompt = input("USER: ")
    
    messages.append({"role": "user", "content": prompt})
    
    # Generate reasoning
    reasoning_template = tokenizer.apply_chat_template(messages, tokenize=False, add_reasoning_prompt=True)
    reasoning_inputs = tokenizer(reasoning_template, return_tensors="pt").to(model.device)
    reasoning_ids = model.generate(**reasoning_inputs, max_new_tokens=MAX_REASONING_TOKENS)
    reasoning_output = tokenizer.decode(reasoning_ids[0, reasoning_inputs.input_ids.shape[1]:], skip_special_tokens=True)
    
    messages.append({"role": "reasoning", "content": reasoning_output})
    
    print("REASONING: ", end="")
    stream_output(reasoning_output)
    print()
    
    # Generate answer
    response_template = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    response_inputs = tokenizer(response_template, return_tensors="pt").to(model.device)
    response_ids = model.generate(**response_inputs, max_new_tokens=MAX_RESPONSE_TOKENS)
    response_output = tokenizer.decode(response_ids[0, response_inputs.input_ids.shape[1]:], skip_special_tokens=True)
    
    messages.append({"role": "assistant", "content": response_output})
    
    print("ASSISTANT: ", end="")
    stream_output(response_output)
    print()

高级用法

暂未提供高级用法示例，可根据实际需求对基础代码进行扩展和优化。

📄 许可证

本项目采用Apache - 2.0许可证。