Icebert Ic3

🚀 IceBERT-ic3

このモデルは、RoBERTa-baseアーキテクチャを使用してfairseqで学習されました。これは、アイスランド語用に学習した多数のモデルの1つです。詳細については、以下に引用する論文を参照してください。使用した学習データは、以下の表に示されています。

📚 ドキュメント

引用

このモデルは、この論文 https://arxiv.org/abs/2201.05601 で説明されています。モデルを利用する場合は、この論文を引用してください。

@article{DBLP:journals/corr/abs-2201-05601,
  author    = {V{\'{e}}steinn Sn{\ae}bjarnarson and
               Haukur Barri S{\'{\i}}monarson and
               P{\'{e}}tur Orri Ragnarsson and
               Svanhv{\'{\i}}t Lilja Ing{\'{o}}lfsd{\'{o}}ttir and
               Haukur P{\'{a}}ll J{\'{o}}nsson and
               Vilhj{\'{a}}lmur {\TH}orsteinsson and
               Hafsteinn Einarsson},
  title     = {A Warm Start and a Clean Crawled Corpus - {A} Recipe for Good Language
               Models},
  journal   = {CoRR},
  volume    = {abs/2201.05601},
  year      = {2022},
  url       = {https://arxiv.org/abs/2201.05601},
  eprinttype = {arXiv},
  eprint    = {2201.05601},
  timestamp = {Thu, 20 Jan 2022 14:21:35 +0100},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2201-05601.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

📄 ライセンス

このモデルは、CC BY 4.0ライセンスの下で提供されています。