🚀 long-t5-tglobal-base-16384 + BookSum
本項目聚焦於文本摘要任務,藉助long-t5-tglobal-base-16384
模型與BookSum
數據集,在多種文本摘要場景中展現出了良好的性能,為長文檔摘要等相關應用提供了有效的解決方案。
🚀 快速開始
你可通過以下鏈接在Google Colab中體驗示例:
示例鏈接
✨ 主要特性
- 多數據集支持:可在
kmfoda/booksum
、samsum
、cnn_dailymail
、xsum
、billsum
、big_patent
、launch/gov_report
等多個數據集上進行文本摘要任務。
- 參數可配置:提供瞭如
max_length
、min_length
、no_repeat_ngram_size
等多個可配置參數,方便根據不同需求進行調整。
📦 安裝指南
文檔未提供具體安裝步驟,故跳過此章節。
💻 使用示例
基礎用法
以下是一個簡單的示例,展示如何選擇關鍵令牌:
example = ['BigBird', 'is', 'now', 'available', 'in', 'HuggingFace', 'for', 'extractive', 'question', 'answering']
query_token = 'available'
key_tokens = []
高級用法
文檔未提供高級用法示例,故跳過此部分。
📚 詳細文檔
標籤與數據集
- 標籤:summarization、summary、booksum、long-document、long-form
- 數據集:kmfoda/booksum
指標
使用rouge
作為評估指標。
小部件示例
提供了多個不同類型的文本示例,用於展示模型的摘要能力,包括地震相關文本、科學論文、轉錄音頻講座、BigBird博客介紹、關於《瑞克和莫蒂》的評價以及埃菲爾鐵塔介紹等。
參數配置
屬性 |
詳情 |
max_length |
64 |
min_length |
8 |
no_repeat_ngram_size |
3 |
early_stopping |
true |
repetition_penalty |
3.5 |
encoder_no_repeat_ngram_size |
4 |
num_beams |
3 |
模型索引與結果
模型名稱 |
任務類型 |
數據集 |
ROUGE-1 |
ROUGE-2 |
ROUGE-L |
ROUGE-LSUM |
loss |
gen_len |
pszemraj/long-t5-tglobal-base-16384-book-summary |
Summarization |
kmfoda/booksum |
36.4085 |
6.0646 |
16.7209 |
33.3405 |
.nan |
252.8099 |
pszemraj/long-t5-tglobal-base-16384-book-summary |
Summarization |
samsum |
30.9047 |
7.4715 |
22.3962 |
26.9094 |
.nan |
46.7973 |
pszemraj/long-t5-tglobal-base-16384-book-summary |
Summarization |
cnn_dailymail |
30.5942 |
7.252 |
17.7156 |
27.2881 |
.nan |
125.2507 |
pszemraj/long-t5-tglobal-base-16384-book-summary |
Summarization |
xsum |
20.3648 |
3.4126 |
13.6168 |
15.8313 |
.nan |
82.2177 |
pszemraj/long-t5-tglobal-base-16384-book-summary |
Summarization |
billsum |
39.6378 |
13.0017 |
23.0255 |
32.9943 |
1.9428048133850098 |
162.3588 |
pszemraj/long-t5-tglobal-base-16384-book-summary |
Summarization |
big_patent |
34.7641 |
7.8744 |
19.9826 |
29.208 |
2.8316469192504883 |
132.7475 |
pszemraj/long-t5-tglobal-base-16384-book-summary |
Summarization |
launch/gov_report (validation) |
37.9246 |
8.5837 |
18.0274 |
34.0816 |
2.56695818901062 |
220.3747 |
pszemraj/long-t5-tglobal-base-16384-book-summary |
Summarization |
launch/gov_report (test) |
37.4438 |
8.2907 |
17.6893 |
33.7141 |
2.5776000022888184 |
214.9692 |
🔧 技術細節
文檔未提供具體技術細節,故跳過此章節。
📄 許可證