Roberta Large Japanese With Auto Jumanpp

🚀 nlp-waseda/roberta-large-japanese-with-auto-jumanpp

這是一個基於日本維基百科和CC - 100日語部分預訓練的日語RoBERTa大型模型，可用於掩碼語言建模任務，還能在下游任務中進行微調。

🚀 快速開始

你可以按照以下方式使用該模型進行掩碼語言建模：

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("nlp-waseda/roberta-large-japanese-with-auto-jumanpp")
model = AutoModelForMaskedLM.from_pretrained("nlp-waseda/roberta-large-japanese-with-auto-jumanpp")

sentence = '早稲田大學で自然言語処理を[MASK]する。'
encoding = tokenizer(sentence, return_tensors='pt')
...

你還可以在下游任務中對該模型進行微調。

✨ 主要特性

• 預訓練數據豐富：基於日本維基百科和CC - 100的日語部分進行預訓練。
• 支持自動分詞：BertJapaneseTokenizer 現在支持 Juman++ 的自動分詞。

📚 詳細文檔

分詞

BertJapaneseTokenizer 現在支持 Juman++ 的自動分詞。不過，如果你的數據集很大，由於 BertJapaneseTokenizer 仍然不支持快速分詞，可能會花費很長時間。你也可以自己進行Juman++分詞，然後使用舊模型 nlp-waseda/roberta-large-japanese。

預訓練使用了Juman++ 2.0.0 - rc3。每個單詞通過 sentencepiece 被分詞為標記。

詞彙表

詞彙表由32000個標記組成，包括單詞（JumanDIC）和由 sentencepiece 的一元語言模型誘導的子詞。

訓練過程

該模型在日本維基百科（截至2021年9月20日）和CC - 100的日語部分上進行訓練。使用八個NVIDIA A100 GPU訓練了兩週。

預訓練期間使用了以下超參數：

• 學習率：6e - 5
• 每個設備的訓練批次大小：103
• 分佈式類型：多GPU
• 設備數量：8
• 梯度累積步數：5
• 總訓練批次大小：4120
• 最大序列長度：128
• 優化器：Adam，β=(0.9, 0.98)，ε = 1e - 6
• 學習率調度器類型：線性
• 訓練步數：670000
• 熱身步數：10000
• 混合精度訓練：原生AMP

在JGLUE上的性能

請參閱JGLUE的 基線分數。

📄 許可證

本項目採用CC - BY - SA 4.0許可證。

數據集