Flan T5 Xxl Classif 3way

🚀 T5ForSequenceClassification

T5ForSequenceClassification 對原始的 T5 架構進行了調整，以適用於序列分類任務。T5 最初是為文本到文本的任務而構建的，並且在這類任務中表現出色。它可以處理任何轉換為文本到文本格式的 NLP 任務，包括序列分類任務！你可以在 這裡 瞭解原始 T5 如何用於序列分類任務。

我們構建 T5ForSequenceClassification 的動機在於，大多數 NLU 任務並不需要完整的原始 T5 架構。實際上，NLU 任務通常不需要生成文本，因此大型解碼器是不必要的。通過移除解碼器，我們可以將原始參數數量 減半（從而將計算成本減半），並針對給定任務 高效地優化 網絡。

🚀 快速開始

T5ForSequenceClassification 支持零樣本分類任務。它可以直接用於以下場景：

• 主題分類
• 意圖識別
• 布爾問答
• 情感分析
• 以及任何其他以文本分類為目標的任務……

由於 T5ForClassification 類目前不受 Transformers 庫支持，你無法直接在 Hub 上使用此模型。若要使用 T5ForSequenceClassification，你需要安裝額外的包和模型權重。你可以在 這裡 找到相關說明。

✨ 主要特性

為何選擇 T5ForSequenceClassification？

基於 BERT 架構的模型，如 RoBERTa 和 DeBERTa，在序列分類任務中表現出色，至今仍被廣泛使用。然而，這些模型的參數規模通常最多擴展到約 15 億（如 DeBERTa xxlarge），與更大的模型相比，其知識儲備有限。

另一方面，基於 T5 架構的模型參數規模可擴展到約 110 億（如 t5 - xxl），並且該架構的創新成果不斷湧現，性能也在持續提升（如 mT5、Flan - T5、UL2、Flan - UL2 等等）。

T5ForClassification 與 T5 的對比

T5ForClassification 架構：

• 編碼器：與原始 T5 相同
• 解碼器：僅保留第一層（用於池化）
• 分類頭：解碼器之上的簡單線性層

優缺點：

• (+) 保留了 T5 的編碼優勢
• (+) 參數規模減半
• (+) 輸出具有可解釋性（類別對數幾率）
• (+) 無生成錯誤，預測速度更快（無生成延遲）
• (-) 失去了文本到文本的能力

📚 詳細文檔

目錄

0. 使用方法
1. 為何選擇 T5ForSequenceClassification？
2. T5ForClassification 與 T5 的對比
3. 實驗結果

🔧 技術細節

數據集和指標

實驗結果

訓練任務驗證數據結果

未見任務（零樣本）驗證數據結果

特別感謝 philschmid 提供了 Flan - T5 - xxl 的 fp16 檢查點。