Roberta Base Bne Capitel Ner

🚀 スペイン語のRoBERTa-baseモデル（BNEで事前学習、CAPITELの固有表現認識（NER）データセットでファインチューニング）

このモデルは、スペイン語用のTransformerベースのマスク言語モデルです。RoBERTaベースモデルを基に構築され、2009年から2019年にかけてスペイン国立図書館が収集したコーパスを用いて事前学習されています。

⚠️ 重要提示

このモデルは以下のURLに移動され、まもなく削除されます: https://huggingface.co/PlanTL-GOB-ES/roberta-base-bne-capitel-ner

🚀 クイックスタート

RoBERTa-base-bneは、スペイン語用のTransformerベースのマスク言語モデルです。これはRoBERTaベースモデルに基づいており、2009年から2019年にかけてスペイン国立図書館（Biblioteca Nacional de España）が行ったウェブクローリングから収集された、これまでで最大のスペイン語コーパスを用いて事前学習されています。合計570GBのクリーンで重複のないテキストがこの作業のために処理されています。

元の事前学習モデルはここにあります: https://huggingface.co/BSC-TeMU/roberta-base-bne

📚 ドキュメント

データセット

使用されたデータセットは、IberLEF 2020のCAPITELコンペティション（サブタスク1）のものです。

評価と結果

F1スコア: 0.8960

評価の詳細については、私たちのGitHubリポジトリをご覧ください。

引用

詳細については、私たちの論文をチェックしてください: https://arxiv.org/abs/2107.07253

@misc{gutierrezfandino2021spanish,
      title={Spanish Language Models}, 
      author={Asier Gutiérrez-Fandiño and Jordi Armengol-Estapé and Marc Pàmies and Joan Llop-Palao and Joaquín Silveira-Ocampo and Casimiro Pio Carrino and Aitor Gonzalez-Agirre and Carme Armentano-Oller and Carlos Rodriguez-Penagos and Marta Villegas},
      year={2021},
      eprint={2107.07253},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。