Gpt2 Large Bne

🚀 GPT2-large （スペイン国立図書館（BNE）のデータで学習）

このモデルは、スペイン語用のTransformerベースのモデルです。スペイン国立図書館（BNE）から収集された大量のデータを用いて学習され、スペイン語の自然言語処理タスクに役立ちます。

🚀 クイックスタート

このセクションでは、このモデルの概要や利用方法について説明します。

✨ 主な機能

• スペイン語に特化したGPT2-largeモデルです。
• 2009年から2019年までのスペイン国立図書館のクローリングデータを用いて学習されています。
• 高品質の学習コーパスを用いており、前処理によりデータの質を向上させています。

📦 インストール

原READMEにインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

原READMEに使用例のコードが記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの説明

GPT2-large-bneは、スペイン語用のTransformerベースのモデルです。GPT - 2モデルをベースに、これまでに知られている最大のスペイン語コーパスを用いて事前学習されています。このコーパスは、2009年から2019年にかけてスペイン国立図書館（Biblioteca Nacional de España）が行ったウェブクローリングから収集され、合計570GBのクリーンで重複のないテキストが処理されています。

学習コーパスと前処理

スペイン国立図書館（Biblioteca Nacional de España）は、毎年一度、すべての.esドメインをクローリングしています。学習コーパスは、2009年から2019年に行われたこれらのクローリングから得られた59TBのWARCファイルで構成されています。

高品質の学習コーパスを得るために、コーパスは一連の操作のパイプラインで前処理されています。これには、文分割、言語検出、不適切な文のフィルタリング、繰り返し内容の重複排除などが含まれます。処理の間、ドキュメントの境界は維持されます。これにより、2TBのスペイン語のクリーンなコーパスが得られました。さらに、コーパス全体での重複排除が適用され、最終的に570GBのテキストが得られました。

コーパスのいくつかの統計情報を以下に示します。

トークン化と事前学習

学習コーパスは、元のGPT - 2モデルで使用されているByte - Pair Encoding（BPE）のバイトバージョンを用いてトークン化されています。語彙サイズは50,262トークンです。GPT2-large-bneの事前学習は、GPT - 2のアプローチに従った自己回帰型言語モデルの学習で構成されています。学習は、それぞれ4つの16GB VRAMのNVIDIA V100 GPUを備えた32個のコンピューティングノードで合計10日間行われました。

評価と結果

評価の詳細については、私たちの[GitHubリポジトリ](https://github.com/PlanTL - SANIDAD/lm - spanish)をご覧ください。

引用

詳細については、私たちの論文をご覧ください：https://arxiv.org/abs/2107.07253

@misc{gutierrezfandino2021spanish,
      title={Spanish Language Models}, 
      author={Asier Gutiérrez - Fandiño and Jordi Armengol - Estapé and Marc Pàmies and Joan Llop - Palao and Joaquín Silveira - Ocampo and Casimiro Pio Carrino and Aitor Gonzalez - Agirre and Carme Armentano - Oller and Carlos Rodriguez - Penagos and Marta Villegas},
      year={2021},
      eprint={2107.07253},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

🔧 技術詳細

このモデルは、GPT - 2モデルをベースにしており、Byte - Pair Encoding（BPE）を用いたトークン化と自己回帰型言語モデルの学習を行っています。学習コーパスは、スペイン国立図書館のウェブクローリングデータから収集され、高度な前処理を施されています。

📄 ライセンス

このモデルは、Apache - 2.0ライセンスの下で提供されています。