Pegasus X Sumstew

🚀 Pegasus-x-sumstew

このモデルは、CNN-Dailymail、Samsum、Booksum、Laysumのデータセットの混合のフィルタリングされたサブセットでPegasus-x-largeモデルをファインチューニングしたものです。長いテキストの要約を生成することができます。

🚀 クイックスタート

このモデルは、英語の長いテキスト、例えば学術的な抄録、会議の議事録、または文学作品の要約に使用できます。ただし、ツイート、見出し、キャプションなどの短いテキストの要約には適していません。入力テキストに事実誤り、スラング、または不快な表現が含まれている場合、モデルは不正確または偏った要約を生成する可能性があります。

✨ 主な機能

• 長い英語のテキストの要約を生成できます。
• ファインチューニングにより、特定のデータセットに適応しています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline

summarizer = pipeline("summarization", "joemgu/pegasus-x-sumstew")
text = "Alice was beginning to get very tired of sitting by her sister on the bank, and of having nothing to do: once or twice she had peeped into the book her sister was reading, but it had no pictures or conversations in it, 'and what is the use of a book,' thought Alice 'without pictures or conversations?' So she was considering in her own mind (as well as she could, for the hot day made her feel very sleepy and stupid), whether the pleasure of making a daisy-chain would be worth the trouble of getting up and picking the daisies, when suddenly a White Rabbit with pink eyes ran close by her. There was nothing so very remarkable in that; nor did Alice think it so very much out of the way to hear the Rabbit say to itself, 'Oh dear! Oh dear! I shall be late!' (when she thought it over afterwards, it occurred to her that she ought to have wondered at this, but at the time it all seemed quite natural); but when the Rabbit actually took a watch out of its waistcoat-pocket, and looked at it, and then hurried on, Alice started to her feet, for it flashed across her mind that she had never before seen a rabbit with either a waistcoat-pocket, or a watch to take out of it, and burning with curiosity, she ran across the field after it, and fortunately was just in time to see it pop down a large rabbit-hole under the hedge. In another moment down went Alice after it, never once considering how in the world she was to get out again."
summary = summarizer(text,
                     num_beams=8,
                     repetition_penalty=3.5,
                     no_repeat_ngram_size=4,
                     encoder_no_repeat_ngram_size=4
    )[0]["summary_text"]
print(summary)

出力:

Alice is a bored and curious girl who follows a White Rabbit with a watch into a rabbit-hole. She enters a strange world where she has many adventures and meets many peculiar creatures.

📚 ドキュメント

モデルの説明

このモデルは、Pegasus-x-largeモデルをCNN-Dailymail、Samsum、Booksum、Laysumのデータセットの混合のフィルタリングされたサブセットでファインチューニングしたものです。長いテキストの要約を生成することができます。

意図された用途と制限

このモデルは、英語の長いテキストの要約に使用できますが、短いテキストの要約には適していません。入力テキストに事実誤り、スラング、または不快な表現が含まれている場合、モデルは不正確または偏った要約を生成する可能性があります。

トレーニングデータ

モデルは、CNN-Dailymail、Samsum、Booksum、Laysumのデータセットの混合のフィルタリングされたサブセットでファインチューニングされました。これらのデータセットは、様々な種類のテキストとその要約を含んでいます。サブセットは、1000語以上のテキストと100語以下の要約のみを含むように選択されました。サブセットの総サイズは約150kの例です。

評価結果

TODO

制限とバイアス

このモデルは、事前学習されたPegasus-x-largeモデルとファインチューニングデータセットからいくつかの制限とバイアスを引き継いでいる可能性があります。バイアスのいくつかの原因は以下の通りです。

• 事前学習されたPegasus-x-largeモデルは、様々なソースからの大量の英語テキストコーパスで学習されており、異なる言語や文化の多様性とニュアンスを反映していない可能性があります。
• ファインチューニングデータセットは、異なるドメインやジャンルから収集されており、特定のトピックやイベントに対する独自の文体や見解を持っている可能性があります。
• ファインチューニングデータセットは要約のみを含んでおり、元のテキストのすべての重要な情報やニュアンスを捉えていない可能性があります。
• ファインチューニングデータセットは特定の期間とソースのテキストのみをカバーしており、現在の状況やトレンドを反映していない可能性があります。

したがって、ユーザーはこのモデルを使用する際にこれらの制限とバイアスに注意し、特定のユースケースに対するモデルの性能と適合性を評価する必要があります。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。