Long T5 Tglobal Base 16384 Booksum V11 Big Patent V2

🚀 pszemraj/long - t5 - tglobal - base - 16384 - booksum - V11 - big_patent - V2模型

該模型主要用於文本摘要任務，能夠處理長文檔的摘要生成，在多個數據集上進行了訓練和測試，具有一定的性能表現。

✨ 主要特性

• 適用任務廣泛：適用於多種文本摘要任務，如書籍、科學論文、講座等不同類型文本的摘要生成。
• 處理長序列：能夠處理較長的文本序列，對於長文檔的摘要生成有較好的效果。
• 多數據集訓練：在多個數據集上進行訓練，如kmfoda/booksum、big_patent等，提升了模型的泛化能力。
• 多指標評估：使用多種評估指標，如ROUGE系列指標，對模型的性能進行了全面評估。

📦 安裝指南

文檔未提供具體安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

文檔未提供基礎用法的代碼示例，故跳過此部分。

高級用法

文檔未提供高級用法的代碼示例，故跳過此部分。

📚 詳細文檔

模型參數

模型測試結果

• 數據集：kmfoda/booksum
  • ROUGE - 1：23.1439
  • ROUGE - 2：3.2393
  • ROUGE - L：12.7038
  • ROUGE - LSUM：19.8101
  • 損失 (loss)：2.766307830810547
  • 生成長度 (gen_len)：63.4493
• 數據集：samsum
  • ROUGE - 1：26.8026
  • ROUGE - 2：6.0656
  • ROUGE - L：20.0098
  • ROUGE - LSUM：21.9115
  • 損失 (loss)：2.317471981048584
  • 生成長度 (gen_len)：19.1111
• 數據集：xsum
  • ROUGE - 1：25.2061
  • ROUGE - 2：4.7048
  • ROUGE - L：17.8593
  • ROUGE - LSUM：18.0798
  • 損失 (loss)：3.003053665161133
  • 生成長度 (gen_len)：27.4815

示例文本及標題

• 地震相關文本：“large earthquakes along a given fault segment do not occur at random intervals because it takes time to accumulate the strain energy for the rupture. …”，示例標題為“earthquakes”
• 科學論文相關文本：“A typical feed - forward neural field algorithm. …”，示例標題為“scientific paper”
• 轉錄音頻講座相關文本：“Is a else or outside the cob and tree written being of early client rope …”，示例標題為“transcribed audio - lecture”
• BigBird博客介紹相關文本：“Transformer - based models have shown to be very useful for many NLP tasks. …”，示例標題為“bigbird blog intro”
• Rick and Morty相關文本：“To be fair, you have to have a very high IQ to understand Rick and Morty. …”，示例標題為“Richard & Mortimer”

🔧 技術細節

文檔未提供具體技術細節，故跳過此章節。

📄 許可證

該模型使用的許可證包括Apache - 2.0和BSD - 3 - Clause。