Herbert Large Cased

🚀 HerBERT

HerBERT は、BERTに基づく言語モデルです。このモデルは、マスク言語モデリング（MLM）と文構造目標（SSO）を使用し、単語全体を動的にマスクすることで、ポーランド語コーパスで学習されています。詳細については、HerBERT: Efficiently Pretrained Transformer-based Language Model for Polish を参照してください。このモデルの学習と実験は、バージョン2.9の transformers ライブラリを使用して行われました。

🚀 クイックスタート

HerBERTは、BERTに基づく言語モデルで、ポーランド語コーパス上で訓練されています。マスク言語モデリング（MLM）と文構造目標（SSO）を用い、単語全体を動的にマスクする手法を採用しています。

✨ 主な機能

• BERTアーキテクチャに基づき、ポーランド語コーパスで学習されています。
• マスク言語モデリング（MLM）と文構造目標（SSO）を使用し、単語全体を動的にマスクします。

📦 インストール

ドキュメントに具体的なインストール手順は記載されていません。transformers ライブラリのインストール手順を参照してください。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("allegro/herbert-large-cased")
model = AutoModel.from_pretrained("allegro/herbert-large-cased")

output = model(
    **tokenizer.batch_encode_plus(
        [
            (
                "A potem szedł środkiem drogi w kurzawie, bo zamiatał nogami, ślepy dziad prowadzony przez tłustego kundla na sznurku.",
                "A potem leciał od lasu chłopak z butelką, ale ten ujrzawszy księdza przy drodze okrążył go z dala i biegł na przełaj pól do karczmy."
            )
        ],
    padding='longest',
    add_special_tokens=True,
    return_tensors='pt'
    )
)

📚 ドキュメント

コーパス

HerBERTは、6種類の異なるポーランド語コーパスで学習されています。

トークナイザー

学習データセットは、文字レベルのバイトペアエンコーディング（CharBPETokenizer）を使用してサブワードに分割され、語彙サイズは50kトークンです。トークナイザー自体は、tokenizers ライブラリを使用して学習されています。

HerbertTokenizerFast というトークナイザーの Fast バージョンの使用を強くおすすめします。

📄 ライセンス

CC BY 4.0

🔖 引用

このモデルを使用する場合は、以下の論文を引用してください。

@inproceedings{mroczkowski-etal-2021-herbert,
    title = "{H}er{BERT}: Efficiently Pretrained Transformer-based Language Model for {P}olish",
    author = "Mroczkowski, Robert  and
      Rybak, Piotr  and
      Wr{\'o}blewska, Alina  and
      Gawlik, Ireneusz",
    booktitle = "Proceedings of the 8th Workshop on Balto-Slavic Natural Language Processing",
    month = apr,
    year = "2021",
    address = "Kiyv, Ukraine",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2021.bsnlp-1.1",
    pages = "1--10",
}

👥 作者

このモデルは、Machine Learning Research Team at Allegro と Linguistic Engineering Group at Institute of Computer Science, Polish Academy of Sciences によって学習されました。

klejbenchmark@allegro.pl までご連絡いただけます。