Roberta Large Winogrande

🚀 RoBERTa大型模型在Winogrande數據集上微調

本模型在Winogrande數據集（XL規模）上進行了微調，採用序列分類任務格式。這意味著原本帶有相應選項填充的句子對會被拆分、打亂，並相互獨立地進行分類。

🚀 快速開始

文檔未提供快速開始相關內容。

✨ 主要特性

本模型在Winogrande數據集上微調，以序列分類任務格式處理數據，將原句對拆分、打亂後獨立分類。

📦 安裝指南

文檔未提供安裝步驟相關內容。

💻 使用示例

文檔未提供代碼示例相關內容。

📚 詳細文檔

模型描述

文檔未提供模型描述相關詳細內容。

預期用途與限制

文檔未提供預期用途與限制相關詳細內容。

如何使用

文檔未提供如何使用的詳細內容。

🔧 技術細節

訓練數據

WinoGrande-XL 按以下方式重新格式化：

1. 每個句子在 “_” 佔位符符號處拆分。
2. 每個選項與拆分後的第二部分連接，從而將每個示例轉換為兩個文本片段對。
3. 對應正確和錯誤選項的文本片段對分別標記為 True 和 False 標籤。
4. 此後對文本片段對進行打亂。

例如：

{
  "answer": "2",
  "option1": "plant",
  "option2": "urn",
  "sentence": "The plant took up too much room in the urn, because the _ was small."
}

變為

{
  "sentence1": "The plant took up too much room in the urn, because the ",
  "sentence2": "plant was small.",
  "label": false
}

和

{
  "sentence1": "The plant took up too much room in the urn, because the ",
  "sentence2": "urn was small.",
  "label": true
}

這些句子對隨後被視為獨立的示例。

BibTeX引用和引用信息

@article{sakaguchi2019winogrande,
    title={WinoGrande: An Adversarial Winograd Schema Challenge at Scale},
    author={Sakaguchi, Keisuke and Bras, Ronan Le and Bhagavatula, Chandra and Choi, Yejin},
    journal={arXiv preprint arXiv:1907.10641},
    year={2019}
}

@article{DBLP:journals/corr/abs-1907-11692,
  author    = {Yinhan Liu and
               Myle Ott and
               Naman Goyal and
               Jingfei Du and
               Mandar Joshi and
               Danqi Chen and
               Omer Levy and
               Mike Lewis and
               Luke Zettlemoyer and
               Veselin Stoyanov},
  title     = {RoBERTa: {A} Robustly Optimized {BERT} Pretraining Approach},
  journal   = {CoRR},
  volume    = {abs/1907.11692},
  year      = {2019},
  url       = {http://arxiv.org/abs/1907.11692},
  archivePrefix = {arXiv},
  eprint    = {1907.11692},
  timestamp = {Thu, 01 Aug 2019 08:59:33 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-1907-11692.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

📄 許可證

文檔未提供許可證相關信息。