Bigbird Roberta Natural Questions

🚀 BigBird問答模型

本項目基於BigBirdForQuestionAnswering模型，在natural_questions數據集上進行訓練，可用於問答任務。它能有效處理長文本問題，為自然語言處理中的問答場景提供了強大的支持。

🚀 快速開始

本檢查點是在 2 塊 K80 GPU 上，使用natural_questions數據集對BigBirdForQuestionAnswering（帶有額外池化器頭）進行約 2 周的訓練後得到的。訓練腳本可在以下鏈接找到：https://github.com/vasudevgupta7/bigbird

💻 使用示例

基礎用法

from transformers import BigBirdForQuestionAnswering

model_id = "vasudevgupta/bigbird-roberta-natural-questions"
model = BigBirdForQuestionAnswering.from_pretrained(model_id)
tokenizer = BigBirdTokenizer.from_pretrained(model_id)

高級用法

如果你還對預測類別（空、長答案、短答案、是、否）感興趣，可以在我的訓練腳本中使用BigBirdForNaturalQuestions（而不是BigBirdForQuestionAnswering）。

📄 許可證

本項目採用 Apache-2.0 許可證。