Led Base Book Summary

🚀 BigBirdによる長文要約モデル

このプロジェクトは、長文要約に特化したBigBirdモデルに関するものです。Transformerベースのモデルが抱える計算コストの問題を解決し、長文の要約や質問応答などのタスクで高い性能を発揮します。

🚀 クイックスタート

Transformerベースのモデルは多くの自然言語処理タスクで有用ですが、計算量とメモリ使用量がシーケンス長に対して2次関数的に増加するという問題があります。BigBirdはブロック疎行列アテンションを用いることで、この問題を解決し、最大4096のシーケンス長を低コストで処理できます。

✨ 主な機能

• 長文対応：通常のTransformerモデルでは困難な長文の処理が可能です。
• 低計算コスト：ブロック疎行列アテンションを用いることで、計算コストを大幅に削減します。
• 高い性能：長文要約や質問応答などのタスクでSOTA（State-of-the-Art）の性能を達成しています。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

# コード例は原文のまま保持
>>> # let's consider following sentence as an example >>> example = ['BigBird', 'is', 'now', 'available', 'in', 'HuggingFace', 'for', 'extractive', 'question', 'answering']
>>> # further let's assume, we're trying to understand the representation of 'available' i.e. >>> query_token = 'available' >>> # We will initialize an empty `set` and fill up the tokens of our interest as we proceed in this section.
>>> key_tokens = [] # => currently 'available' token doesn't have anything to attend

高度な使用法

# 高度な使用法の説明やコード例が原文にないため、このセクションは省略されます。

📚 ドキュメント

データセット

• BookSum：長文のナラティブ要約用のデータセットで、小説、劇、物語などの文献ドメインのソースドキュメントをカバーしています。段落、章、書籍レベルの3つの粒度で人が書いた高度な抽象的な要約が含まれています。

評価指標

• ROUGE：要約の品質を評価するために使用される指標で、ROUGE-1、ROUGE-2、ROUGE-L、ROUGE-LSUMが計算されます。
• loss：モデルの損失関数の値です。
• gen_len：生成された要約の平均長さです。

推論パラメータ

• max_length：生成される要約の最大長さ（96）
• min_length：生成される要約の最小長さ（8）
• no_repeat_ngram_size：繰り返しを避けるためのn-gramのサイズ（3）
• early_stopping：早期停止の有無（true）
• repetition_penalty：繰り返しのペナルティ（3.5）
• length_penalty：長さのペナルティ（0.3）
• encoder_no_repeat_ngram_size：エンコーダでの繰り返しを避けるためのn-gramのサイズ（3）
• num_beams：ビームサーチのビーム数（4）

🔧 技術詳細

BigBirdは通常のアテンションの代わりにブロック疎行列アテンションを使用しています。これにより、シーケンス長に対する計算量とメモリ使用量を大幅に削減し、長文の処理が可能になります。具体的には、アテンション行列をブロックに分割し、一部のブロックのみを計算することで効率化を図っています。

📄 ライセンス

• Apache-2.0
• BSD-3-Clause