Roberta Large Japanese

🚀 nlp-waseda/roberta-large-japanese

這是一個基於日本維基百科和CC - 100日語部分預訓練的日語RoBERTa大型模型，可用於掩碼語言建模等自然語言處理任務。

🚀 快速開始

你可以按如下方式使用此模型進行掩碼語言建模：

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("nlp-waseda/roberta-large-japanese")
model = AutoModelForMaskedLM.from_pretrained("nlp-waseda/roberta-large-japanese")

sentence = '早稲田 大學 で 自然 言語 処理 を [MASK] する 。' # input should be segmented into words by Juman++ in advance
encoding = tokenizer(sentence, return_tensors='pt')
...

你還可以在下游任務中對該模型進行微調。

✨ 主要特性

分詞處理

輸入文本應預先使用 Juman++ 進行分詞。預訓練使用的是Juman++ 2.0.0 - rc3版本。每個單詞會通過 sentencepiece 進一步分詞為標記。

BertJapaneseTokenizer 現在支持自動的 JumanppTokenizer 和 SentencepieceTokenizer。你可以使用 這個模型 而無需進行任何數據預處理。

詞彙表

詞彙表由32000個標記組成，包括單詞（JumanDIC）和由 sentencepiece 的一元語言模型生成的子詞。

訓練過程

該模型在日本維基百科（截至2021年9月20日）和CC - 100的日語部分上進行訓練。使用8個NVIDIA A100 GPU訓練了兩週。

預訓練期間使用了以下超參數：

JGLUE性能

請參閱JGLUE的 基線分數。

📄 許可證

本項目採用CC - BY - SA 4.0許可證。