Deberta V2 Base Japanese

🚀 日语DeBERTa V2基础模型卡片

本模型是基于日语维基百科、CC - 100的日语部分以及OSCAR的日语部分进行预训练的日语DeBERTa V2基础模型，可用于掩码语言建模等自然语言处理任务。

🚀 快速开始

你可以按如下方式使用该模型进行掩码语言建模：

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained('ku-nlp/deberta-v2-base-japanese')
model = AutoModelForMaskedLM.from_pretrained('ku-nlp/deberta-v2-base-japanese')

sentence = '京都 大学 で 自然 言語 処理 を [MASK] する 。'  # input should be segmented into words by Juman++ in advance
encoding = tokenizer(sentence, return_tensors='pt')
...

你还可以在下游任务中对该模型进行微调。

✨ 主要特性

这是一个在日语维基百科、CC - 100的日语部分和OSCAR的日语部分上进行预训练的日语DeBERTa V2基础模型。

📦 安装指南

文档未提及具体安装步骤，故跳过此章节。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained('ku-nlp/deberta-v2-base-japanese')
model = AutoModelForMaskedLM.from_pretrained('ku-nlp/deberta-v2-base-japanese')

sentence = '京都 大学 で 自然 言語 処理 を [MASK] する 。'  # input should be segmented into words by Juman++ in advance
encoding = tokenizer(sentence, return_tensors='pt')
...

📚 详细文档

分词

输入文本应预先使用 Juman++ 进行分词。预训练使用的是 Juman++ 2.0.0 - rc3。每个单词会通过 sentencepiece 被分词为子词。

训练数据

预训练使用了以下语料库：

• 日语维基百科（截至2022年10月20日，3.2GB，2700万句子，130万文档）
• CC - 100的日语部分（85GB，6.19亿句子，6600万文档）
• OSCAR的日语部分（54GB，3.26亿句子，2500万文档）

请注意，我们过滤掉了OSCAR中标注有“header”、“footer”或“noisy”标签的文档。此外，日语维基百科被重复了10次，以使语料库的总大小与CC - 100和OSCAR相当。因此，训练数据的总大小为171GB。

训练过程

首先，我们使用 Juman++ 将语料库中的文本分词为单词。然后，我们使用包含单词（JumanDIC）和由 sentencepiece 的unigram语言模型诱导的子词的32000个标记构建了一个sentencepiece模型。

我们使用sentencepiece模型将分词后的语料库分词为子词，并使用 transformers 库训练日语DeBERTa模型。训练使用8个NVIDIA A100 - SXM4 - 40GB GPU，耗时三周。

预训练期间使用了以下超参数：

训练好的模型在掩码语言建模任务上的准确率为0.779。评估集由每个训练语料库中随机抽取的5000个文档组成。

NLU任务微调

我们对以下模型进行了微调，并在JGLUE的开发集上进行了评估。我们根据 JGLUE论文 为每个模型和任务调整了学习率和训练轮数。

*LUKE的分数来自 官方仓库。

🔧 技术细节

训练使用8个NVIDIA A100 - SXM4 - 40GB GPU，耗时三周。预训练期间使用了一系列特定的超参数，训练好的模型在掩码语言建模任务上的准确率为0.779。评估集由每个训练语料库中随机抽取的5000个文档组成。

📄 许可证

本项目采用CC - BY - SA 4.0许可证。