Xlnet Base Squadv2

🚀 XLNet在SQuAD 2.0數據集上的微調模型

本項目使用由谷歌和卡內基梅隆大學（CMU）聯合開發的XLNet模型，並在SQuAD 2.0數據集上進行微調，以用於問答下游任務。

🚀 快速開始

安裝依賴

你可以使用以下代碼來加載微調後的XLNet模型和分詞器：

from transformers import XLNetForQuestionAnswering, XLNetTokenizerFast

model = XLNetForQuestionAnswering.from_pretrained('jkgrad/xlnet-base-squadv2')
tokenizer = XLNetTokenizerFast.from_pretrained('jkgrad/xlnet-base-squadv2')

✨ 主要特性

• 基於XLNet模型進行微調，適用於問答下游任務。
• 在SQuAD 2.0數據集上進行訓練，具有較好的問答性能。

📊 訓練結果（指標）

{
    "HasAns_exact": 74.7132253711201,
    "HasAns_f1": 82.11971607032643,
    "HasAns_total": 5928,
    "NoAns_exact": 73.38940285954584,
    "NoAns_f1": 73.38940285954584,
    "NoAns_total": 5945,
    "best_exact": 75.67590331003116,
    "best_exact_thresh": -19.554906845092773,
    "best_f1": 79.16215426779269,
    "best_f1_thresh": -19.554906845092773,
    "epoch": 4.0,
    "exact": 74.05036637749515,
    "f1": 77.74830934598614,
    "total": 11873
}

📈 結果對比

後續會有更好的微調模型推出。

💻 使用示例

基礎用法

from transformers import XLNetForQuestionAnswering, XLNetTokenizerFast

model = XLNetForQuestionAnswering.from_pretrained('jkgrad/xlnet-base-squadv2')
tokenizer = XLNetTokenizerFast.from_pretrained('jkgrad/xlnet-base-squadv2')

高級用法

目前暫未提供高級用法示例，後續可關注項目更新。