Afriberta Large

🚀 afriberta_large

AfriBERTa largeは、約1億2600万のパラメータを持つ事前学習済みの多言語言語モデルです。このモデルは、いくつかのアフリカ諸言語におけるテキスト分類や固有表現認識などの下流タスクで、競争力のある性能を発揮します。

🚀 クイックスタート

AfriBERTa largeモデルをTransformersライブラリを使って任意の下流タスクに利用することができます。

✨ 主な機能

• 11のアフリカ諸言語で事前学習された多言語言語モデルです。
• テキスト分類や固有表現認識などの下流タスクで競争力のある性能を発揮します。
• 事前学習に使用されていない言語に対しても良好な汎化性能を示します。

📦 インストール

このモデルを使用するには、Transformersライブラリをインストールする必要があります。以下は、トークン分類タスクでこのモデルをファインチューニングする例です。

>>> from transformers import AutoTokenizer, AutoModelForTokenClassification
>>> model = AutoModelForTokenClassification.from_pretrained("castorini/afriberta_large")
>>> tokenizer = AutoTokenizer.from_pretrained("castorini/afriberta_large")
# 現在Hugging Faceが適切にサポートしていないSentencePieceモデルをインポートするため、モデルの最大長を手動で設定する必要があります
>>> tokenizer.model_max_length = 512 

📚 ドキュメント

モデルの説明

AfriBERTa largeは、約1億2600万のパラメータを持つ事前学習済みの多言語言語モデルです。このモデルは10層、6つのアテンションヘッド、768の隠れユニット、3072のフィードフォワードサイズを持っています。モデルは、11のアフリカ諸言語、すなわちアファーン・オロモ語、アムハラ語、ガフザ語（キニャルワンダ語とキルンディ語を含む混合言語）、ハウサ語、イボ語、ナイジェリア・ピジン語、ソマリ語、スワヒリ語、ティグリニャ語、ヨルバ語で事前学習されています。

想定される用途と制限

制限とバイアス

• このモデルは、主に特定の期間のニュース記事から取得されたデータセットで学習されているため、汎化性能が制限される可能性があります。
• このモデルは非常に少ないデータ（1GB未満）で学習されているため、非常に複雑な言語関係を学習するのに十分なデータを見ていない可能性があります。

学習データ

このモデルは、BBCニュースウェブサイトとCommon Crawlからのデータセットの集約データで学習されています。

学習手順

学習手順に関する情報は、AfriBERTaの論文またはリポジトリを参照してください。

BibTeXエントリと引用情報

@inproceedings{ogueji-etal-2021-small,
    title = "Small Data? No Problem! Exploring the Viability of Pretrained Multilingual Language Models for Low-resourced Languages",
    author = "Ogueji, Kelechi  and
      Zhu, Yuxin  and
      Lin, Jimmy",
    booktitle = "Proceedings of the 1st Workshop on Multilingual Representation Learning",
    month = nov,
    year = "2021",
    address = "Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.mrl-1.11",
    pages = "116--126",
}

📄 ライセンス

このモデルはMITライセンスの下で提供されています。