🚀 ThinkAgain1.5モデル
ThinkAgain1.5は強力なテキスト生成モデルで、自然で高度な推論能力を備え、ツール呼び出しをサポートし、システムプロンプトによるトレーニングを必要とせず、多言語環境でも有効に機能します。
🚀 クイックスタート
モデル詳細
- 推論能力:自然で高度な推論が可能。
- トレーニング方法:システムプロンプトによるトレーニング不要。LoRAトレーニングのランクは16、alpha値は16。
- 機能特性:ツール呼び出しをサポート。
- 量子化に関する注意:このモデルを量子化すると、最適な性能が得られない可能性があります。
サポート言語
このモデルは、中国語、英語、フランス語、スペイン語、ポルトガル語、ドイツ語、イタリア語、ロシア語、日本語、韓国語、ベトナム語、タイ語、アラビア語など、多くの言語をサポートしています。
ライセンス
このモデルはApache - 2.0ライセンスを使用しています。
ベースモデル
Qwen/Qwen2.5 - 7B - Instructベースモデルに基づいています。
タグ
- text - generation - inference
- transformers
- qwen2
- trl
- sft
💻 使用例
基本的な使用法
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
MAX_REASONING_TOKENS = 4096
MAX_RESPONSE_TOKENS = 1024
model_name = "beyoru/ThinkAgain1.5"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)
messages = []
def stream_output(output_text):
for char in output_text:
print(char, end="", flush=True)
while True:
prompt = input("USER: ")
messages.append({"role": "user", "content": prompt})
reasoning_template = tokenizer.apply_chat_template(messages, tokenize=False, add_reasoning_prompt=True)
reasoning_inputs = tokenizer(reasoning_template, return_tensors="pt").to(model.device)
reasoning_ids = model.generate(**reasoning_inputs, max_new_tokens=MAX_REASONING_TOKENS)
reasoning_output = tokenizer.decode(reasoning_ids[0, reasoning_inputs.input_ids.shape[1]:], skip_special_tokens=True)
messages.append({"role": "reasoning", "content": reasoning_output})
print("REASONING: ", end="")
stream_output(reasoning_output)
print()
response_template = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
response_inputs = tokenizer(response_template, return_tensors="pt").to(model.device)
response_ids = model.generate(**response_inputs, max_new_tokens=MAX_RESPONSE_TOKENS)
response_output = tokenizer.decode(response_ids[0, response_inputs.input_ids.shape[1]:], skip_special_tokens=True)
messages.append({"role": "assistant", "content": response_output})
print("ASSISTANT: ", end="")
stream_output(response_output)
print()
高度な使用法
高度な使用例は現在提供されていません。実際のニーズに応じて基本コードを拡張および最適化できます。
📄 ライセンス
このプロジェクトはApache - 2.0ライセンスを使用しています。