Roberta Base Japanese

🚀 nlp-waseda/roberta-base-japanese

這是一個基於日本維基百科和CC - 100日語部分預訓練的日語RoBERTa基礎模型，可用於掩碼語言建模任務，也能在下游任務中進行微調。

🚀 快速開始

你可以按如下方式使用這個模型進行掩碼語言建模：

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("nlp-waseda/roberta-base-japanese")
model = AutoModelForMaskedLM.from_pretrained("nlp-waseda/roberta-base-japanese")

sentence = '早稲田 大學 で 自然 言語 処理 を [MASK] する 。' # input should be segmented into words by Juman++ in advance
encoding = tokenizer(sentence, return_tensors='pt')
...

你還可以在下游任務中對該模型進行微調。

✨ 主要特性

分詞處理

輸入文本需要提前使用 Juman++ 進行分詞。預訓練使用的是Juman++ 2.0.0 - rc3版本。每個單詞會通過 sentencepiece 進一步分詞成標記。

BertJapaneseTokenizer 現在支持自動的 JumanppTokenizer 和 SentencepieceTokenizer。你可以使用 這個模型 而無需進行任何數據預處理。

詞彙表

詞彙表包含32000個標記，其中包括單詞（JumanDIC）和由 sentencepiece 的一元語言模型生成的子詞。

訓練過程

該模型在日本維基百科（截至2021年9月20日）和CC - 100的日語部分上進行訓練。使用8塊NVIDIA A100 GPU訓練了一週。

預訓練期間使用了以下超參數：

• 學習率：1e - 4
• 每個設備的訓練批次大小：256
• 分佈式類型：多GPU
• 設備數量：8
• 梯度累積步數：2
• 總訓練批次大小：4096
• 最大序列長度：128
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 學習率調度器類型：線性
• 訓練步數：700000
• 熱身步數：10000
• 混合精度訓練：Native AMP

在JGLUE上的性能

請參考JGLUE的 基線分數。

📄 許可證

本項目採用CC - BY - SA 4.0許可證。

📦 數據集

• 維基百科
• CC100

📦 掩碼標記

[MASK]

📦 示例文本

{
    "text": "早稲田 大學 で 自然 言語 処理 を [MASK] する 。"
}