Pegasus X Thai Sum

🚀 Pegasus X モデル：タイ語テキスト要約

このリポジトリには、タイ語テキストを要約するために微調整された Pegasus X モデルが用意されています。このモデルのアーキテクチャは Pegasus X モデルに基づいています。

🚀 クイックスタート

このモデルを使用するには、まず必要なライブラリをインストールする必要があります。

📦 インストール

pip install transformers

💻 使用例

基本的な使用法

from transformers import PegasusXForConditionalGeneration, AutoTokenizer

model = PegasusXForConditionalGeneration.from_pretrained("satjawat/pegasus-x-thai-sum")
tokenizer = AutoTokenizer.from_pretrained("satjawat/pegasus-x-thai-sum")

new_input_string = "ข้อความ"
new_input_ids = tokenizer(new_input_string.lower(), return_tensors="pt").input_ids
summary_ids = model.generate(new_input_ids, max_length=50, num_beams=6, length_penalty=2.0, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)

print("Input:", new_input_string)
print("Generated Summary:", summary)

📚 ドキュメント

トレーニングハイパーパラメータ

トレーニング時に使用されたハイパーパラメータは以下の通りです。

• accumulation_steps: 2
• num_epochs: 20
• num_beams: 6
• learning_rate: lr=5e-5
• optimizer: AdamW with betas=(0.9,0.999) and epsilon=1e-08
• activation_function: gelu
• add_bias_logits: True
• normalize_embedding: True
• add_final_layer_norm: False
• normalize_before: False

評価スコア

このモデルは、ThaiSum のテストデータセット（合計 11,000 記事）を使用して評価され、以下のスコアを獲得しました。

• Rouge1: 0.490279
• Rouge2: 0.289839
• Rougel: 0.489334

リソース提供元

このプロジェクトは、NSTDA Supercomputer center (ThaiSC) および National e-Science Infrastructure Consortium からのコンピュータ設備の提供によって支援されています。

引用

もしあなたのプロジェクトや出版物で "satjawat/pegasus-x-thai-sum" を使用する場合は、以下のようにモデルを引用してください。

ปรีชานนท์ ชาติไทย และ สัจจวัจน์ ส่งเสริม. (2567),
การสรุปข้อความข่าวภาษาไทยด้วยโครงข่ายประสาทเทียม (Thai News Text Summarization Using Neural Network),
วิทยาศาสตรบัณฑิต (วทบ.):ขอนแก่น, มหาวิทยาลัยขอนแก่น