Roberta Base Japanese With Auto Jumanpp

🚀 nlp-waseda/roberta-base-japanese-with-auto-jumanpp

このモデルは、日本語のWikipediaとCC - 100の日本語部分を用いて事前学習された日本語RoBERTaベースモデルです。自然言語処理の様々なタスクに利用できます。

🚀 クイックスタート

このモデルをマスク言語モデリングに使用することができます。以下に使用例を示します。

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("nlp-waseda/roberta-base-japanese-with-auto-jumanpp")
model = AutoModelForMaskedLM.from_pretrained("nlp-waseda/roberta-base-japanese-with-auto-jumanpp")

sentence = '早稲田大学で自然言語処理を[MASK]する。'
encoding = tokenizer(sentence, return_tensors='pt')
...

また、このモデルは下流タスクでのファインチューニングも可能です。

✨ 主な機能

• 日本語のWikipediaとCC - 100の日本語部分を用いた事前学習により、日本語の自然言語処理タスクに適しています。
• BertJapaneseTokenizerがJuman++の自動トークン化をサポートしています。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("nlp-waseda/roberta-base-japanese-with-auto-jumanpp")
model = AutoModelForMaskedLM.from_pretrained("nlp-waseda/roberta-base-japanese-with-auto-jumanpp")

sentence = '早稲田大学で自然言語処理を[MASK]する。'
encoding = tokenizer(sentence, return_tensors='pt')
...

📚 ドキュメント

トークン化

BertJapaneseTokenizerは現在、Juman++の自動トークン化をサポートしています。ただし、データセットが大きい場合、BertJapaneseTokenizerはまだ高速トークン化をサポートしていないため、時間がかかることがあります。自分でJuman++のトークン化を行い、古いモデルnlp-waseda/roberta-base-japaneseを使用することもできます。

事前学習にはJuman++ 2.0.0 - rc3が使用されました。各単語はsentencepieceによってトークンに分割されます。

語彙

語彙は、単語（JumanDIC）とsentencepieceのユニグラム言語モデルによって誘導されたサブワードを含む32000個のトークンで構成されています。

学習手順

このモデルは、日本語Wikipedia（20210920時点）とCC - 100の日本語部分で学習されました。8台のNVIDIA A100 GPUを使用して1週間かかりました。

事前学習時には以下のハイパーパラメータが使用されました。

• learning_rate: 1e - 4
• per_device_train_batch_size: 256
• distributed_type: multi - GPU
• num_devices: 8
• gradient_accumulation_steps: 2
• total_train_batch_size: 4096
• max_seq_length: 128
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e - 08
• lr_scheduler_type: linear
• training_steps: 700000
• warmup_steps: 10000
• mixed_precision_training: Native AMP

JGLUEでの性能

JGLUEのBaseline Scoresを参照してください。

📄 ライセンス

このモデルはCC - BY - SA 4.0ライセンスの下で提供されています。