T5 Base Finetuned Summarize News

🚀 T5-baseをファインチューニングしたニュース要約モデル 📖✏️🧾

すべてのクレジットは Abhishek Kumar Mishra にあります。

GoogleのT5 ベースモデルを ニュース要約データセット でファインチューニングし、要約 という下流タスクに特化させました。

🚀 クイックスタート

このモデルは、GoogleのT5ベースモデルをニュース要約データセットでファインチューニングしたものです。以下のセクションでは、T5モデルの詳細、使用するデータセット、モデルのファインチューニング方法、そしてモデルの使用例を紹介します。

✨ 主な機能

• GoogleのT5ベースモデルをニュース要約データセットでファインチューニング。
• ニュース記事の要約タスクに特化。
• 公開されているデータセットとコードを使用して再現可能。

📚 ドキュメント

T5の詳細

T5 モデルは、Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu らによる Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer で発表されました。ここに概要を示します：

転移学習は、モデルをまずデータが豊富なタスクで事前学習し、その後下流タスクでファインチューニングする手法として、自然言語処理 (NLP) で強力な技術として浮上しています。転移学習の有効性により、様々なアプローチ、方法論、実践が生まれています。この論文では、すべての言語問題をテキストからテキストへの形式に変換する統一的なフレームワークを導入することで、NLPの転移学習技術の状況を探索します。我々の体系的な研究では、事前学習の目的、アーキテクチャ、ラベルのないデータセット、転移アプローチ、その他の要素を数十の言語理解タスクで比較します。我々の探索から得られた洞察と規模、そして新しい「Colossal Clean Crawled Corpus」を組み合わせることで、要約、質問応答、テキスト分類などを含む多くのベンチマークで最先端の結果を達成します。NLPの転移学習に関する将来の研究を促進するために、データセット、事前学習済みモデル、コードを公開します。

下流タスク（要約）の詳細 - データセット 📚

ニュース要約データセット

このデータセットは 4515個のサンプル から構成され、著者名、見出し、記事のURL、短いテキスト、完全な記事が含まれています。データはInshortsから要約されたニュースを収集し、Hindu、Indian times、Guardianからのニュース記事のみをスクレイピングしました。期間は2017年2月から8月です。

モデルのファインチューニング 🏋️‍

学習スクリプトは、Abhishek Kumar Mishra によって作成された このColabノートブック を若干修正したものです。すべてのクレジットは彼にあります！ 私はまた、モデルをより多くのエポック（6エポック）で学習させました。

💻 使用例

基本的な使用法

from transformers import AutoModelWithLMHead, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("mrm8488/t5-base-finetuned-summarize-news")
model = AutoModelWithLMHead.from_pretrained("mrm8488/t5-base-finetuned-summarize-news")

def summarize(text, max_length=150):
  input_ids = tokenizer.encode(text, return_tensors="pt", add_special_tokens=True)

  generated_ids = model.generate(input_ids=input_ids, num_beams=2, max_length=max_length,  repetition_penalty=2.5, length_penalty=1.0, early_stopping=True)

  preds = [tokenizer.decode(g, skip_special_tokens=True, clean_up_tokenization_spaces=True) for g in generated_ids]

  return preds[0]

以下は、NYT (2020/06/09) の記事で、タイトルは George Floyd’s death energized a movement. He will be buried in Houston today の例です：

After the sound and the fury, weeks of demonstrations and anguished calls for racial justice, the man whose death gave rise to an international movement, and whose last words — “I can’t breathe” — have been a rallying cry, will be laid to rest on Tuesday at a private funeral in Houston.George Floyd, who was 46, will then be buried in a grave next to his mother’s.The service, scheduled to begin at 11 a.m. at the Fountain of Praise church, comes after five days of public memorials in Minneapolis, North Carolina and Houston and two weeks after a Minneapolis police officer was caught on video pressing his knee into Mr. Floyd’s neck for nearly nine minutes before Mr. Floyd died. That officer, Derek Chauvin, has been charged with second-degree murder and second-degree manslaughter. His bail was set at $1.25 million in a court appearance on Monday. The outpouring of anger and outrage after Mr. Floyd’s death — and the speed at which protests spread from tense, chaotic demonstrations in the city where he died to an international movement from Rome to Rio de Janeiro — has reflected the depth of frustration borne of years of watching black people die at the hands of the police or vigilantes while calls for change went unmet.

summarize('After the sound and the fury, weeks of demonstrations and anguished calls for racial justice, the man whose death gave rise to an international movement, and whose last words — “I can’t breathe” — have been a rallying cry, will be laid to rest on Tuesday at a private funeral in Houston.George Floyd, who was 46, will then be buried in a grave next to his mother’s.The service, scheduled to begin at 11 a.m. at the Fountain of Praise church, comes after five days of public memorials in Minneapolis, North Carolina and Houston and two weeks after a Minneapolis police officer was caught on video pressing his knee into Mr. Floyd’s neck for nearly nine minutes before Mr. Floyd died. That officer, Derek Chauvin, has been charged with second-degree murder and second-degree manslaughter. His bail was set at $1.25 million in a court appearance on Monday. The outpouring of anger and outrage after Mr. Floyd’s death — and the speed at which protests spread from tense, chaotic demonstrations in the city where he died to an international movement from Rome to Rio de Janeiro — has reflected the depth of frustration borne of years of watching black people die at the hands of the police or vigilantes while calls for change went unmet.', 80)

以下のような結果が得られます：

At a private funeral in Houston. Floyd, who was 46 years old when his death occurred, will be buried next to the grave of his mother. A Minnesota police officer was caught on video pressing his knee into Mr's neck for nearly nine minutes before his death. The officer has been charged with second-degree manslaughter and $1.2 million bail is set at

Created by Manuel Romero/@mrm8488 | LinkedIn

Made with ♥ in Spain