Afriberta Small

🚀 afriberta_small

Hugging Faceのロゴは、このプロジェクトの一部です。このモデルは、複数のアフリカ言語に対応した事前学習済み言語モデルで、様々な下流タスクでの利用が可能です。

🚀 クイックスタート

AfriBERTa smallは、事前学習済みの多言語言語モデルで、約9700万のパラメータを持っています。このモデルは、11のアフリカ言語で事前学習されており、いくつかの下流タスクで競争力のある性能を発揮します。

✨ 主な機能

• 11のアフリカ言語で事前学習された多言語言語モデル
• テキスト分類や固有表現認識などの下流タスクで競争力のある性能を発揮

📦 インストール

このモデルは、Transformersライブラリを使って簡単に利用できます。以下のコードを参考にしてください。

>>> from transformers import AutoTokenizer, AutoModelForTokenClassification
>>> model = AutoModelForTokenClassification.from_pretrained("castorini/afriberta_small")
>>> tokenizer = AutoTokenizer.from_pretrained("castorini/afriberta_small")
# これはインポートされた学習済みSentencePieceモデルであるため、手動でモデルの最大長を設定する必要があります。現時点でHugging Faceは適切にサポートしていません。
>>> tokenizer.model_max_length = 512 

💻 使用例

基本的な使用法

>>> from transformers import AutoTokenizer, AutoModelForTokenClassification
>>> model = AutoModelForTokenClassification.from_pretrained("castorini/afriberta_small")
>>> tokenizer = AutoTokenizer.from_pretrained("castorini/afriberta_small")
# これはインポートされた学習済みSentencePieceモデルであるため、手動でモデルの最大長を設定する必要があります。現時点でHugging Faceは適切にサポートしていません。
>>> tokenizer.model_max_length = 512 

📚 ドキュメント

モデルの説明

AfriBERTa smallは、約9700万のパラメータを持つ事前学習済みの多言語言語モデルです。このモデルは4層、6つのアテンションヘッド、768の隠れユニット、3072のフィードフォワードサイズを持っています。このモデルは、11のアフリカ言語で事前学習されており、いくつかの下流タスクで競争力のある性能を発揮します。

想定される用途と制限

使い方

このモデルは、Transformersを使って任意の下流タスクに使用できます。例えば、トークン分類タスクでこのモデルを微調整する場合は、以下のようにします。

制限とバイアス

• このモデルは、主に特定の期間のニュース記事から取得された学習データセットによって制限される可能性があります。したがって、汎化性能が低い可能性があります。
• このモデルは非常に少ないデータ（1GB未満）で学習されているため、非常に複雑な言語関係を学習するのに十分なデータを見ていない可能性があります。

学習データ

このモデルは、BBCニュースウェブサイトとCommon Crawlのデータセットを集約したもので学習されました。

学習手順

学習手順に関する情報は、AfriBERTaの論文またはリポジトリを参照してください。

BibTeXエントリと引用情報

@inproceedings{ogueji-etal-2021-small,
    title = "Small Data? No Problem! Exploring the Viability of Pretrained Multilingual Language Models for Low-resourced Languages",
    author = "Ogueji, Kelechi  and
      Zhu, Yuxin  and
      Lin, Jimmy",
    booktitle = "Proceedings of the 1st Workshop on Multilingual Representation Learning",
    month = nov,
    year = "2021",
    address = "Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.mrl-1.11",
    pages = "116--126",
}

📄 ライセンス

ライセンスに関する情報は、元のリポジトリを参照してください。