Led Large Book Summary

🚀 BigBirdを用いた長文要約モデル

このプロジェクトは、Transformerベースのモデルの長文処理における計算コストの問題を解決するため、BigBirdモデルを活用しています。長文要約や質問応答などのタスクで高い性能を発揮し、長いシーケンスを低コストで処理できます。

🚀 クイックスタート

このモデルは、長文要約や質問応答などの自然言語処理タスクに使用できます。以下のコードで簡単に使用できます。

# コード例は原文を保持
from transformers import BigBirdModel
model = BigBirdModel.from_pretrained('pszemraj/led-large-book-summary')

✨ 主な機能

• 長文処理能力：通常のTransformerモデルよりも長いシーケンス（最大4096トークン）を低コストで処理できます。
• 高い性能：長文要約や質問応答などのタスクでSOTA（State-of-the-Art）の結果を達成しています。
• ブロック疎注意力機構：通常の注意力機構ではなく、ブロック疎注意力を使用することで計算コストを削減しています。

💻 使用例

基本的な使用法

# コード例は原文を保持
from transformers import BigBirdModel
model = BigBirdModel.from_pretrained('pszemraj/led-large-book-summary')

高度な使用法

# 高度な使用法の説明
# コード例は原文を保持
# 例えば、長文要約タスクでの使用
from transformers import BigBirdForConditionalGeneration, BigBirdTokenizer
tokenizer = BigBirdTokenizer.from_pretrained('pszemraj/led-large-book-summary')
model = BigBirdForConditionalGeneration.from_pretrained('pszemraj/led-large-book-summary')

input_text = "Transformer-based models have shown to be very useful for many NLP tasks. However, a major limitation of transformers-based models is its O(n^2) time & memory complexity (where n is sequence length). Hence, it's computationally very expensive to apply transformer-based models on long sequences n > 512."
inputs = tokenizer(input_text, return_tensors='pt')
summary_ids = model.generate(inputs['input_ids'], num_beams=4, max_length=64, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print(summary)

📚 ドキュメント

モデルの詳細

BigBirdは、長文処理に特化したTransformerベースのモデルです。通常の注意力機構ではなく、ブロック疎注意力を使用することで、長いシーケンスを低コストで処理できます。

データセット

このモデルは、BookSumという長文要約用のデータセットで訓練されています。BookSumは、文学分野の長文（小説、劇、物語など）とその要約を含むデータセットです。

評価指標

このモデルは、ROUGE（Recall-Oriented Understudy for Gisting Evaluation）という指標で評価されています。ROUGEは、要約の品質を評価するための一般的な指標です。

🔧 技術詳細

ブロック疎注意力機構

BigBirdは、通常の注意力機構ではなく、ブロック疎注意力を使用しています。これにより、計算コストを大幅に削減し、長いシーケンスを低コストで処理できます。

計算コストの削減

通常のTransformerモデルの計算コストは、シーケンス長に対してO(n^2)ですが、BigBirdはブロック疎注意力を使用することで、計算コストを大幅に削減しています。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスとBSD-3-Clauseライセンスの下で公開されています。