Afro Xlmr Large 76L

🚀 afro-xlmr-large-76L

AfroXLMR-large-76Lは、拡張されたXLM-R-largeモデルを、アフリカで広く話されている76の言語（4つの高リソース言語を含む）でMLM適応させることによって作成されました。

🚀 クイックスタート

AfroXLMR-large-76Lは、アフリカで広く話されている76の言語に対応したモデルです。拡張されたXLM-R-largeモデルをMLM適応させることで作成されています。

✨ 主な機能

• 76のアフリカの言語に対応
• 拡張されたXLM-R-largeモデルをベースに構築

📚 ドキュメント

事前学習コーパス

mC4、Wikipedia、OPUSデータの混合

言語

76の言語が利用可能です。

• 英語 (eng)
• アムハラ語 (amh)
• アラビア語 (ara)
• ソマリ語 (som)
• スワヒリ語 (swa)
• ポルトガル語 (por)
• アフリカーンス語 (afr)
• フランス語 (fra)
• ズールー語 (zul)
• マラガシ語 (mlg)
• ハウサ語 (hau)
• ショナ語 (sna)
• エジプトアラビア語 (arz)
• チチェワ語 (nya)
• イボ語 (ibo)
• コーサ語 (xho)
• ヨルバ語 (yor)
• セソト語 (sot)
• ルワンダ語 (kin)
• ティグリニャ語 (tir)
• トンガ語 (tso)
• オロモ語 (orm)
• ルンディ語 (run)
• 北セソト語 (nso)
• エウェ語 (ewe)
• リンガラ語 (lin)
• トゥイ語 (twi)
• ナイジェリアピジン語 (pcm)
• ガ語 (gaa)
• ロジ語 (loz)
• ルガンダ語 (lug)
• グン語 (guw)
• ベンバ語 (bem)
• エフィク語 (efi)
• ルバーレ語 (lue)
• ルバ・ルルア語 (lua)
• トンガ語 (toi)
• ツィベンダ語 (ven)
• タンブカ語 (tum)
• テテラ語 (tll)
• イソコ語 (iso)
• カオンデ語 (kqn)
• ザンデ語 (zne)
• ウンブンドゥ語 (umb)
• モッシ語 (mos)
• ティヴ語 (tiv)
• ルバ・カタンガ語 (lub)
• フラニ語 (fuv)
• サンサルバドルコンゴ語 (kwy)
• バウレ語 (bci)
• ルンド語 (rnd)
• ロ語 (luo)
• ウォライタ語 (wal)
• スワジ語 (ssw)
• ルンダ語 (lun)
• ウォロフ語 (wol)
• ニャネカ語 (nyk)
• クワニャマ語 (kua)
• キクユ語 (kik)
• フォン語 (fon)
• バンバラ語 (bam)
• チョクウェ語 (cjk)
• ディンカ語 (dik)
• ジュラ語 (dyu)
• カビレ語 (kab)
• カンバ語 (kam)
• カビエ語 (kbp)
• カヌリ語 (knc)
• キンブンドゥ語 (kmb)
• キコンゴ語 (kon)
• ヌエル語 (nus)
• サンゴ語 (sag)
• タマシェク語 (taq)
• タマジグト語 (tzm)
• ンコ語 (nqo)

謝辞

Google Cloudが、無料のクラウドクレジットを通じてTPU v3-8へのアクセスを提供してくれたことに感謝します。モデルはflaxを使用して学習され、その後pytorchに変換されました。

BibTeXエントリと引用情報

@misc{adelani2023sib200,
      title={SIB-200: A Simple, Inclusive, and Big Evaluation Dataset for Topic Classification in 200+ Languages and Dialects}, 
      author={David Ifeoluwa Adelani and Hannah Liu and Xiaoyu Shen and Nikita Vassilyev and Jesujoba O. Alabi and Yanke Mao and Haonan Gao and Annie En-Shiun Lee},
      year={2023},
      eprint={2309.07445},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

MITライセンス