Mt5 Summarize Japanese

🚀 mt5_summarize_japanese

このモデルは、日本語の要約タスク向けに微調整された google/mt5-small のバージョンです。BBCのニュース記事（XL-Sum Japanese dataset）を使用して微調整されており、最初の文（見出し文）を要約、それ以外を記事として学習しています。

🚀 クイックスタート

このモデルは、日本語の文章を要約するために使用できます。以下のコードを参考に、モデルを使って要約を行うことができます。

from transformers import pipeline

seq2seq = pipeline("summarization", model="tsmatz/mt5_summarize_japanese")
sample_text = "サッカーのワールドカップカタール大会、世界ランキング24位でグループEに属する日本は、23日の1次リーグ初戦において、世界11位で過去4回の優勝を誇るドイツと対戦しました。試合は前半、ドイツの一方的なペースではじまりましたが、後半、日本の森保監督は攻撃的な選手を積極的に動員して流れを変えました。結局、日本は前半に1点を奪われましたが、途中出場の堂安律選手と浅野拓磨選手が後半にゴールを決め、2対1で逆転勝ちしました。ゲームの流れをつかんだ森保采配が功を奏しました。"
result = seq2seq(sample_text)
print(result)

✨ 主な機能

• 日本語の文章を要約することができます。
• BBCのニュース記事を使用して微調整されているため、ニュース記事の要約に特化しています。

📦 インストール

このモデルはHugging FaceのTransformersライブラリを使用しています。以下のコマンドでライブラリをインストールできます。

pip install transformers

📚 ドキュメント

学習手順

学習に使用したソースコードは、こちら からダウンロードできます。

学習ハイパーパラメータ

学習時に使用したハイパーパラメータは以下の通りです。

• learning_rate: 0.0005
• train_batch_size: 2
• eval_batch_size: 1
• seed: 42
• gradient_accumulation_steps: 16
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 90
• num_epochs: 10

学習結果

フレームワークバージョン

• Transformers 4.23.1
• Pytorch 1.12.1+cu102
• Datasets 2.6.1
• Tokenizers 0.13.1

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。