Openthaigpt R1 32b Instruct

🚀 🇹🇭 OpenThaiGPT R1 32b

🇹🇭 OpenThaiGPT R1 32b 是一款先進的 320 億參數泰語推理模型。儘管其規模不到 DeepSeek R1 70b 和 Typhoon R1 70b 等大模型的一半，但在性能上卻更勝一籌。該模型在複雜推理任務中表現出色，能夠處理泰語環境下的數學、邏輯和代碼推理問題。

🚀 快速開始

在線網頁界面

你可以通過 此鏈接 訪問在線網頁界面使用該模型。

Transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "openthaigpt/openthaigpt-r1-32b-instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "จงหาพื้นที่ของวงกลมที่มีรัศมี 7 หน่วย"
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=16384,
    temperature=0.6
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

vLLM

1. 安裝 VLLM（安裝鏈接）。
2. 運行服務器：

vllm serve openthaigpt/openthaigpt-r1-32b --tensor-parallel-size 2

• 注意：將 --tensor-parallel-size 2 更改為可用的 GPU 卡數量。

3. 運行推理（CURL 示例）：

curl -X POST 'http://127.0.0.1:8000/v1/chat/completions' \
-H 'Content-Type: application/json' \
-d '{
  "model": "openthaigpt/openthaigpt-r1-32b-instruct",
  "messages": [
    {
      "role": "user",
      "content": "จงหาพื้นที่ของวงกลมที่มีรัศมี 7 หน่วย"
    }
  ],
  "max_tokens": 16384,
  "temperature": 0.6,
  "top_p": 0.95,
  "top_k": 40
}'

✨ 主要特性

• 最先進的泰語推理模型：在數學和邏輯推理任務上超越了更大規模的模型。
• 顯式推理能力：能夠展示逐步的思維過程。
• 顯著的小模型優勢：參數規模僅 320 億，卻能勝過 700 億參數的模型。
• 專注泰語推理：擅長處理複雜的數學和邏輯問題。
• 代碼推理高性能：在泰語和英語代碼推理方面均表現出色。

📊 基準測試結果

📦 安裝指南

GPU 內存要求

📚 詳細文檔

推薦系統提示

<No system prompt>

模型技術報告

你可以通過 此鏈接 查看模型技術報告。

引用方式

如果你在工作中使用了 OpenThaiGPT，請考慮按以下方式引用：

@misc{yuenyong2025openthaigpt16r1thaicentric,
      title={OpenThaiGPT 1.6 and R1: Thai-Centric Open Source and Reasoning Large Language Models}, 
      author={Sumeth Yuenyong and Thodsaporn Chay-intr and Kobkrit Viriyayudhakorn},
      year={2025},
      eprint={2504.01789},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.01789}, 
}

聊天模板

{% if not add_generation_prompt is defined %}{% set add_generation_prompt = false %}{% endif %}{% set ns = namespace(is_first=false, is_tool=false, is_output_first=true, system_prompt='') %}{%- for message in messages %}{%- if message['role'] == 'system' %}{% set ns.system_prompt = message['content'] %}{%- endif %}{%- endfor %}{{bos_token}}{{ns.system_prompt}}{%- for message in messages %}{%- if message['role'] == 'user' %}{%- set ns.is_tool = false -%}{{'<｜User｜>' + message['content']}}{%- endif %}{%- if message['role'] == 'assistant' and message['content'] is none %}{%- set ns.is_tool = false -%}{%- for tool in message['tool_calls']%}{%- if not ns.is_first %}{{'<｜Assistant｜><｜tool▁calls▁begin｜><｜tool▁call▁begin｜>' + tool['type'] + '<｜tool▁sep｜>' + tool['function']['name'] + '\\n' + '```json' + '\\n' + tool['function']['arguments'] + '\\n' + '```' + '<｜tool▁call▁end｜>'}}{%- set ns.is_first = true -%}{%- else %}{{'\\n' + '<｜tool▁call▁begin｜>' + tool['type'] + '<｜tool▁sep｜>' + tool['function']['name'] + '\\n' + '```json' + '\\n' + tool['function']['arguments'] + '\\n' + '```' + '<｜tool▁call▁end｜>'}}{{'<｜tool▁calls▁end｜><｜end▁of▁sentence｜>'}}{%- endif %}{%- endfor %}{%- endif %}{%- if message['role'] == 'assistant' and message['content'] is not none %}{%- if ns.is_tool %}{{'<｜tool▁outputs▁end｜>' + message['content'] + '<｜end▁of▁sentence｜>'}}{%- set ns.is_tool = false -%}{%- else %}{% set content = message['content'] %}{% if '</think>' in content %}{% set content = content.split('</think>')[-1] %}{% endif %}{{'<｜Assistant｜>' + content + '<｜end▁of▁sentence｜>'}}{%- endif %}{%- endif %}{%- if message['role'] == 'tool' %}{%- set ns.is_tool = true -%}{%- if ns.is_output_first %}{{'<｜tool▁outputs▁begin｜><｜tool▁output▁begin｜>' + message['content'] + '<｜tool▁output▁end｜>'}}{%- set ns.is_output_first = false %}{%- else %}{{'\\n<｜tool▁output▁begin｜>' + message['content'] + '<｜tool▁output▁end｜>'}}{%- endif %}{%- endif %}{%- endfor -%}{% if ns.is_tool %}{{'<｜tool▁outputs▁end｜>'}}{% endif %}{% if add_generation_prompt and not ns.is_tool %}{{'<｜Assistant｜>'}}{% endif %}

📄 許可證

本模型可在指定條款下用於 研究 和 商業用途。更多信息請查看 LICENSE 文件。

👨‍💻 支持與反饋

• 官方網站：https://openthaigpt.aieat.or.th
• Facebook 頁面：https://web.facebook.com/groups/openthaigpt
• Discord 服務器：點擊加入
• 郵箱：kobkrit@iapp.co.th

OpenThaiGPT 團隊

• Kobkrit Viriyayudhakorn (kobkrit@iapp.co.th / kobkrit@aieat.or.th)
• Sumeth Yuenyong (sumeth.yue@mahidol.edu)
• Thodsaporn Chay - intr (thodsaporn@iapp.co.th)

贊助商

• 獲得了暹羅 AI 有限公司提供的 8 塊 Nvidia H100 GPU 支持：https://siam.ai/
• 獲得了國家競爭力提升基金管理辦公室與 iApp Technology Co., Ltd. 聯合提供的研究資助，由泰國發明企業家協會負責項目實施。

免責聲明：不保證所提供的回覆一定準確。