Roberta Base Japanese

🚀 nlp-waseda/roberta-base-japanese

このモデルは、日本語版WikipediaとCC - 100の日本語部分を用いて事前学習された日本語RoBERTaベースモデルです。自然言語処理タスクにおいて高い性能を発揮します。

🚀 クイックスタート

このモデルをマスク言語モデリングに使用することができます。以下に使用例を示します。

基本的な使用法

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("nlp-waseda/roberta-base-japanese")
model = AutoModelForMaskedLM.from_pretrained("nlp-waseda/roberta-base-japanese")

sentence = '早稲田 大学 で 自然 言語 処理 を [MASK] する 。' # input should be segmented into words by Juman++ in advance
encoding = tokenizer(sentence, return_tensors='pt')
...

このモデルは下流タスクでのファインチューニングも可能です。

✨ 主な機能

• マスク言語モデリングに対応
• 下流タスクでのファインチューニングが可能

📦 インストール

このモデルはHugging FaceのTransformersライブラリを通じて簡単に利用できます。以下のコマンドでライブラリをインストールできます。

pip install transformers

📚 ドキュメント

トークナイゼーション

入力テキストは事前にJuman++で単語に分割する必要があります。事前学習にはJuman++ 2.0.0 - rc3が使用されました。各単語はsentencepieceによってトークンに分割されます。

BertJapaneseTokenizerは現在、自動的なJumanppTokenizerとSentencepieceTokenizerをサポートしています。データの前処理を行わずにthis modelを使用することができます。

語彙

語彙は、単語（JumanDIC）とsentencepieceのユニグラム言語モデルによって誘導されたサブワードを含む32000個のトークンで構成されています。

学習手順

このモデルは、日本語版Wikipedia（20210920時点）とCC - 100の日本語部分で学習されました。8台のNVIDIA A100 GPUを使用して1週間かかりました。

事前学習中に使用されたハイパーパラメータは以下の通りです。

JGLUEでの性能

JGLUEのBaseline Scoresを参照してください。

📄 ライセンス

このモデルはCC - BY - SA 4.0ライセンスの下で提供されています。