Roberta Large Japanese

🚀 nlp-waseda/roberta-large-japanese

このモデルは、日本語のWikipediaとCC - 100の日本語部分を用いて事前学習された、日本語用のRoBERTa largeモデルです。自然言語処理タスクに役立ちます。

🚀 クイックスタート

このモデルをマスク言語モデリングに使用するには、以下のようにします。また、下流タスクで微調整することも可能です。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("nlp-waseda/roberta-large-japanese")
model = AutoModelForMaskedLM.from_pretrained("nlp-waseda/roberta-large-japanese")

sentence = '早稲田 大学 で 自然 言語 処理 を [MASK] する 。' # input should be segmented into words by Juman++ in advance
encoding = tokenizer(sentence, return_tensors='pt')
...

📚 ドキュメント

トークナイゼーション

入力テキストは、事前にJuman++で単語に分割する必要があります。事前学習にはJuman++ 2.0.0 - rc3が使用されました。各単語は、sentencepieceによってトークンにトークナイズされます。

BertJapaneseTokenizerは現在、自動的なJumanppTokenizerとSentencepieceTokenizerをサポートしています。データの前処理を一切行わずに、このモデルを使用することができます。

語彙

語彙は、単語（JumanDIC）とsentencepieceのユニグラム言語モデルによって誘導されたサブワードを含む32000個のトークンで構成されています。

学習手順

このモデルは、日本語のWikipedia（2021年9月20日時点）とCC - 100の日本語部分で学習されました。8台のNVIDIA A100 GPUを使用して2週間かかりました。

事前学習中に使用されたハイパーパラメータは以下の通りです。

JGLUEでの性能

JGLUEのBaseline Scoresを参照してください。

📄 ライセンス

このモデルはCC - BY - SA 4.0ライセンスの下で提供されています。

データセット

• wikipedia
• cc100

マスクトークン

[MASK]

ウィジェット

• text: "早稲田 大学 で 自然 言語 処理 を [MASK] する 。"