Gpt2 Large Bne

🚀 基於西班牙國家圖書館（BNE）數據訓練的GPT2-large模型

本項目基於西班牙國家圖書館的數據訓練了GPT2-large模型，為西班牙語處理提供了強大的語言模型支持，能在多種自然語言處理任務中發揮重要作用。

🚀 快速開始

本部分暫未提供快速開始的相關內容。若你需要使用該模型，可參考後續的模型描述、訓練數據等信息，並訪問GitHub倉庫獲取更多詳細內容。

✨ 主要特性

• 語言針對性強：GPT2-large-bne是專門為西班牙語設計的基於Transformer架構的模型，能更好地處理西班牙語相關任務。
• 數據規模大：使用了截至目前已知的最大西班牙語語料庫進行預訓練，語料庫經過處理後有570GB的乾淨文本。

📚 詳細文檔

模型描述

GPT2-large-bne是一個面向西班牙語的基於Transformer的模型。它基於GPT - 2模型構建，並使用了截至目前已知的最大西班牙語語料庫進行預訓練。該語料庫是從西班牙國家圖書館（Biblioteca Nacional de España）在2009年至2019年期間進行的網絡爬取數據中編譯而來，總共處理了570GB的乾淨且去重的文本。

訓練語料與預處理

西班牙國家圖書館（Biblioteca Nacional de España）每年對所有.es域名進行一次爬取。訓練語料由2009年至2019年這些爬取得到的59TB的WARC文件組成。

為了獲得高質量的訓練語料，語料經過了一系列操作的預處理，包括句子分割、語言檢測、過濾格式錯誤的句子以及對重複內容進行去重等。在處理過程中保留了文檔邊界，最終得到了2TB的乾淨西班牙語語料。進一步對語料進行全局去重，得到了570GB的文本。

語料的一些統計信息如下：

分詞與預訓練

訓練語料使用了原始GPT - 2模型中使用的字節版本的字節對編碼（BPE）進行分詞，詞彙量大小為50,262個標記。GPT2-large-bne的預訓練是一個自迴歸語言模型訓練，遵循GPT - 2的方法。訓練總共持續了10天，使用了32個計算節點，每個節點配備4個16GB顯存的NVIDIA V100 GPU。

評估與結果

有關評估的詳細信息，請訪問我們的GitHub倉庫。

引用

若需瞭解所有詳細信息，請查看我們的論文：https://arxiv.org/abs/2107.07253

@misc{gutierrezfandino2021spanish,
      title={Spanish Language Models}, 
      author={Asier Gutiérrez-Fandiño and Jordi Armengol-Estapé and Marc Pàmies and Joan Llop-Palao and Joaquín Silveira-Ocampo and Casimiro Pio Carrino and Aitor Gonzalez-Agirre and Carme Armentano-Oller and Carlos Rodriguez-Penagos and Marta Villegas},
      year={2021},
      eprint={2107.07253},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

本項目採用Apache - 2.0許可證。