Thinkagain1.5

🚀 ThinkAgain1.5模型

ThinkAgain1.5是一款強大的文本生成模型，具備自然且智能的推理能力，支持工具調用，無需系統提示訓練，在多種語言場景下都能發揮作用。

🚀 快速開始

模型詳情

• 推理能力：推理自然且智能。
• 訓練方式：無需系統提示訓練，LoRA訓練秩為16，alpha值為16。
• 功能特性：支持工具調用。
• 量化提示：量化此模型可能無法獲得最佳性能。

支持的語言

該模型支持多種語言，包括中文、英語、法語、西班牙語、葡萄牙語、德語、意大利語、俄語、日語、韓語、越南語、泰語和阿拉伯語。

許可證

本模型使用Apache-2.0許可證。

基礎模型

基於Qwen/Qwen2.5 - 7B - Instruct基礎模型。

標籤

• text - generation - inference
• transformers
• qwen2
• trl
• sft

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

MAX_REASONING_TOKENS = 4096
MAX_RESPONSE_TOKENS = 1024

model_name = "beyoru/ThinkAgain1.5"

model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

messages = []

def stream_output(output_text):
    for char in output_text:
        print(char, end="", flush=True)

while True:
    prompt = input("USER: ")
    
    messages.append({"role": "user", "content": prompt})
    
    # Generate reasoning
    reasoning_template = tokenizer.apply_chat_template(messages, tokenize=False, add_reasoning_prompt=True)
    reasoning_inputs = tokenizer(reasoning_template, return_tensors="pt").to(model.device)
    reasoning_ids = model.generate(**reasoning_inputs, max_new_tokens=MAX_REASONING_TOKENS)
    reasoning_output = tokenizer.decode(reasoning_ids[0, reasoning_inputs.input_ids.shape[1]:], skip_special_tokens=True)
    
    messages.append({"role": "reasoning", "content": reasoning_output})
    
    print("REASONING: ", end="")
    stream_output(reasoning_output)
    print()
    
    # Generate answer
    response_template = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    response_inputs = tokenizer(response_template, return_tensors="pt").to(model.device)
    response_ids = model.generate(**response_inputs, max_new_tokens=MAX_RESPONSE_TOKENS)
    response_output = tokenizer.decode(response_ids[0, response_inputs.input_ids.shape[1]:], skip_special_tokens=True)
    
    messages.append({"role": "assistant", "content": response_output})
    
    print("ASSISTANT: ", end="")
    stream_output(response_output)
    print()

高級用法

暫未提供高級用法示例，可根據實際需求對基礎代碼進行擴展和優化。

📄 許可證

本項目採用Apache - 2.0許可證。