Deberta V3 Japanese Base

🚀 日本语预训练DeBERTa V3模型

这是一个基于日本语资源进行预训练的 DeBERTa V3 模型。该模型专为日语设计，具有高效、精准等特点，能为日语相关的自然语言处理任务提供强大支持。

🚀 快速开始

以下是使用该模型的示例代码：

from transformers import AutoTokenizer, AutoModelForTokenClassification

model_name = 'globis-university/deberta-v3-japanese-base'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

✨ 主要特性

本模型具备以下显著特征：

• 经典架构：基于知名的 DeBERTa V3 模型构建。
• 日语特化：专门针对日语进行优化，更适配日语处理任务。
• 无需形态素解析：推理过程中无需使用形态素解析器，提升处理效率。
• 尊重单词边界：在一定程度上尊重单词边界，避免生成跨多个单词的标记。

📦 训练数据

🔧 技术细节

分词器

该分词器采用 工藤氏提出的方法 进行训练，设计时考虑了以下几点：

• 无需形态素解析：推理时无需使用形态素解析器。
• 尊重单词边界：分词结果不会跨越单词边界（使用词典：unidic - cwj - 202302）。
• 易于使用：便于在 Hugging Face 平台使用。
• 词汇量适中：采用较小的词汇量，避免嵌入层参数过多。

原 DeBERTa V3 模型以大词汇量为特点，但这会导致嵌入层参数数量大幅增加（对于 [microsoft/deberta - v3 - base](https://huggingface.co/microsoft/deberta - v3 - base) 模型，嵌入层占总量的 54%）。因此，本模型采用了较小的词汇量（32,000）。

需要注意的是，在 xsmall、base 和 large 这三个模型中，前两个使用 unigram 算法进行训练，而 large 模型使用 BPE 算法训练。原因在于，large 模型为了增加词汇量进行了独立训练，但使用 unigram 算法训练未成功，为了优先完成模型，最终切换到了 BPE 算法。

训练参数

• 设备数量：8
• 批次大小：24 x 8
• 学习率：1.92e - 4
• 最大序列长度：512
• 优化器：AdamW
• 学习率调度器：带热身的线性调度
• 训练步数：1,000,000
• 热身步数：100,000
• 精度：混合精度（fp16）
• 词汇量：32,000

📚 详细文档

评估结果

📄 许可证

本模型采用 CC BY SA 4.0 许可证。

🙏 致谢

本项目计算资源使用了 ABCI，在此表示感谢。