Bert Small Japanese

🚀 BERT小型日语金融模型

这是一个基于日语文本进行预训练的 BERT 模型。该模型可以帮助处理日语金融领域的文本挖掘任务，为相关研究和应用提供有力支持。

🚀 快速开始

本模型基于日语文本进行预训练，预训练代码可在 retarfi/language-pretraining 找到。

✨ 主要特性

• 架构标准：模型架构与 原始ELECTRA论文 中的BERT小型模型相同，包含12层、256维隐藏状态和4个注意力头。
• 数据优质：使用日语版维基百科数据进行训练，训练语料基于2021年6月1日的维基百科转储文件生成，语料文件大小为2.9GB，约包含2000万句话。
• 分词合理：文本先使用MeCab和IPA字典进行分词，再通过WordPiece算法拆分为子词，词汇量为32768。
• 训练规范：训练配置与 原始ELECTRA论文 中的BERT小型模型相同，每个实例128个标记，每批128个实例，共进行145万步训练。

🔧 技术细节

模型架构

模型架构与 原始ELECTRA论文 中的BERT小型模型一致，具有12层网络结构，隐藏状态维度为256，注意力头数量为4。这种架构设计在处理日语文本时能够有效捕捉语义信息，为后续的文本挖掘任务奠定基础。

训练数据

训练数据来源于日语版维基百科。具体来说，使用了截至2021年6月1日的维基百科转储文件生成训练语料。语料文件大小达2.9GB，包含约2000万句话，丰富的数据为模型的训练提供了充足的信息。

分词处理

文本的分词过程分为两步。首先，使用MeCab和IPA字典对文本进行初步分词，将句子拆分为单词。然后，通过WordPiece算法将这些单词进一步拆分为子词，词汇量设定为32768。这种分词方式能够更好地处理日语中的复杂词汇和语法结构。

训练配置

训练过程采用了与 原始ELECTRA论文 中BERT小型模型相同的配置。每个实例包含128个标记，每批包含128个实例，总共进行145万步训练。这样的配置有助于模型在训练过程中充分学习数据中的特征。

📄 许可证

预训练模型根据 知识共享署名 - 相同方式共享4.0 许可条款进行分发。

📚 详细文档

引用信息

如果您使用了本模型，请引用以下论文：

@article{Suzuki-etal-2023-ipm,
  title = {Constructing and analyzing domain-specific language model for financial text mining},
  author = {Masahiro Suzuki and Hiroki Sakaji and Masanori Hirano and Kiyoshi Izumi},
  journal = {Information Processing & Management},
  volume = {60},
  number = {2},
  pages = {103194},
  year = {2023},
  doi = {10.1016/j.ipm.2022.103194}
}

致谢

本研究得到了日本学术振兴会（JSPS）科研费资助（项目编号：JP21K12010）。

模型信息表格