Mt5 Base Thaisum Text Summarization

🚀 mt5-base-thaisum

本仓库包含用于泰语句子摘要的微调mT5-base模型。该模型的架构基于mT5模型，并在泰语的文本摘要对上进行了微调。

🚀 快速开始

示例

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import torch

tokenizer = AutoTokenizer.from_pretrained("preechanon/mt5-base-thaisum-text-summarization")
model = AutoModelForSeq2SeqLM.from_pretrained("preechanon/mt5-base-thaisum-text-summarization")
new_input_string = "ข้อความที่ต้องการ"
input_ = tokenizer(new_input_string, truncation=True, max_length=1024, return_tensors="pt")
with torch.no_grad():
    preds = model.generate(
        input_['input_ids'].to('cpu'),
        num_beams=15,
        num_return_sequences=1,
        no_repeat_ngram_size=1,
        remove_invalid_values=True,
        max_length=140,
    )

summary = tokenizer.decode(preds[0], skip_special_tokens=True)
summary

📚 详细文档

评分

训练超参数

以下是训练期间使用的超参数：

框架版本

资源资助

感谢泰国科学技术发展局超级计算机中心（ThaiSC）和国家电子科学基础设施联盟对计算机设施的支持。

引用

ปรีชานนท์ ชาติไทย และ สัจจวัจน์ ส่งเสริม. (2567),
การสรุปข้อความข่าวภาษาไทยด้วยโครงข่ายประสาทเทียม (Thai News Text Summarization Using Neural Network),
วิทยาศาสตรบัณฑิต (วทบ.):ขอนแก่น, มหาวิทยาลัยขอนแก่น