Mt5 Base Thaisum Text Summarization

🚀 mt5-base-thaisum

このリポジトリには、タイ語の文章要約用に微調整されたmT5-baseモデルが含まれています。このモデルのアーキテクチャはmT5モデルに基づいており、タイ語の文章要約ペアで微調整されています。

🚀 クイックスタート

このモデルを使用するための基本的な手順を以下に示します。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import torch

tokenizer = AutoTokenizer.from_pretrained("preechanon/mt5-base-thaisum-text-summarization")
model = AutoModelForSeq2SeqLM.from_pretrained("preechanon/mt5-base-thaisum-text-summarization")
new_input_string = "ข้อความที่ต้องการ"
input_ = tokenizer(new_input_string, truncation=True, max_length=1024, return_tensors="pt")
with torch.no_grad():
    preds = model.generate(
        input_['input_ids'].to('cpu'),
        num_beams=15,
        num_return_sequences=1,
        no_repeat_ngram_size=1,
        remove_invalid_values=True,
        max_length=140,
    )

summary = tokenizer.decode(preds[0], skip_special_tokens=True)
summary

✨ 主な機能

• タイ語の文章を要約することができます。
• Rouge1: 0.488931
• Rouge2: 0.309732
• Rougel: 0.425490
• Rougelsum: 0.444359

📚 ドキュメント

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

フレームワークバージョン

• Transformers 4.36.1
• Pytorch 2.1.2

リソース提供

このプロジェクトは、NSTDA Supercomputer center (ThaiSC) と National e-Science Infrastructure Consortium からのコンピュータ設備の提供を受けています。

引用

ปรีชานนท์ ชาติไทย และ สัจจวัจน์ ส่งเสริม. (2567),
การสรุปข้อความข่าวภาษาไทยด้วยโครงข่ายประสาทเทียม (Thai News Text Summarization Using Neural Network),
วิทยาศาสตรบัณฑิต (วทบ.):ขอนแก่น, มหาวิทยาลัยขอนแก่น