Thait5 Instruct

🚀 泰語T5指令模型（ThaiT5-Instruct）

泰語T5指令模型（ThaiT5-Instruct） 是 kobkrit/thai-t5-base 的微調版本，在 WangchanX無種子合成指令泰語120k 數據集上進行訓練。該模型支持多種自然語言處理任務，包括對話、多項選擇推理、頭腦風暴、問答和摘要生成。此模型經過了13個訓練週期，若有更多資源，其性能有望進一步提升。

✨ 主要特性

• 多任務支持：支持對話、多項選擇推理、頭腦風暴、問答和摘要生成等多種NLP任務。
• 可擴展性：經過13個訓練週期的訓練，並且可以利用更多資源進一步優化。

📦 安裝指南

文檔未提及安裝步驟，跳過該章節。

💻 使用示例

基礎推理（無上下文）

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

model = AutoModelForSeq2SeqLM.from_pretrained("Peenipat/ThaiT5-Instruct", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("Peenipat/ThaiT5-Instruct")

input_text = "หวัดดี"

inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(input_ids=inputs["input_ids"])
output_text = tokenizer.decode(outputs[0], skip_special_tokens=True)

print(output_text)

示例：

input_text = "คำว่า ฮัก หมายถึงอะไร"

inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(input_ids=inputs["input_ids"])
output_text = tokenizer.decode(outputs[0], skip_special_tokens=True)

print(output_text)

輸出：

"ฮัก หมายถึง ภาษา สันสกฤต ภาษา สันสกฤต "

問答（有上下文）

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, pipeline

model = AutoModelForSeq2SeqLM.from_pretrained("Peenipat/ThaiT5-Instruct", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("Peenipat/ThaiT5-Instruct")

model.eval()
qa_pipeline = pipeline("text2text-generation", model=model, tokenizer=tokenizer)

def ask_question():
    context = input("Input Context: ")
    question = input("Input Question: ")
    input_text = f"Context: {context} Question: {question}"
    output = qa_pipeline(input_text,
                         max_length=60,
                         min_length=20,
                         no_repeat_ngram_size=3,
                         num_beams=5,
                         early_stopping=True)
    output_text = output[0]['generated_text']
    print("\nOutput:")
    print(output_text)

示例：

Input Context: ฮัก คือความรู้สึกผูกพันและห่วงใยที่เกิดขึ้นระหว่างคนที่มีความสำคัญต่อกัน ไม่ว่าจะเป็นฮักหนุ่มสาว ฮักพ่อแม่ลูก หรือฮักพี่น้อง ฮักบ่ได้หมายถึงแค่ความสุข แต่ยังรวมถึงความเข้าใจ การอดทน และการเสียสละเพื่อกันและกัน คนอีสานมักแสดงความฮักผ่านการกระทำมากกว่าคำพูด เช่น การดูแลเอาใจใส่ และการอยู่เคียงข้างยามทุกข์ยาก ฮักแท้คือฮักที่มั่นคง บ่เปลี่ยนแปลงตามกาลเวลา และเต็มไปด้วยความจริงใจ
Input Question: คำว่า ฮัก หมายถึงอะไร

Output:
ฮัก ความรู้สึกผูกพันและห่วงใย เกิดขึ้นระหว่างคนมีความสําคัญต่อกัน ฮักบ่ได้หมายถึงความสุข ความเข้าใจ การอดทน เสียสละเพื่อกันและกัน คนอีสานมักแสดงความฮักผ่านการกระทํามากกว่าคําพูด ดูแลเอาใจใส่ ที่อยู่เคียงข้างยามทุกข์

📚 詳細文檔

模型描述

泰語T5指令模型（ThaiT5-Instruct） 是 kobkrit/thai-t5-base 的微調版本，在 WangchanX無種子合成指令泰語120k 數據集上進行訓練。該模型支持多種NLP任務，包括對話、多項選擇推理、頭腦風暴、問答和摘要生成。

該模型經過了 13個訓練週期 的訓練，並且可以利用更多資源進一步優化。

訓練詳情

• 基礎模型：kobkrit/thai-t5-base
• 訓練輪數：13
• 每個設備的批次大小：32
• 梯度累積步數：2
• 優化器：AdamW
• 使用的硬件：A100

每輪訓練損失：

[2.2463, 1.7010, 1.5261, 1.4626, 1.4085, 1.3844, 1.3647, 1.3442, 1.3373, 1.3182, 1.3169, 1.3016]

每輪驗證損失：

[1.4781, 1.3761, 1.3131, 1.2775, 1.2549, 1.2364, 1.2226, 1.2141, 1.2043, 1.1995, 1.1954, 1.1929]

評估結果

該模型使用了幾種NLP指標進行評估，結果如下：

侷限性與未來改進

• 可以利用更多的訓練資源進一步優化該模型。
• 在複雜推理任務上的性能可能需要在特定領域的數據集上進行進一步的微調。
• 該模型不像 ChatGPT、Gemini 或其他先進的AI模型那樣具備通用智能。它擅長從給定的上下文中提取答案，而不是獨立生成知識。

引用

如果您使用此模型，請按以下方式引用：

@misc{PeenipatThaiT5Instruct,
  title={ThaiT5-Instruct},
  author={Peenipat},
  year={2025},
  publisher={Hugging Face},
  url={https://huggingface.co/Peenipat/ThaiT5-Instruct}
}

📄 許可證

本項目採用MIT許可證。