KR ELECTRA Generator

🚀 基于韩语的ELECTRA（KR - ELECTRA）

这是由首尔国立大学计算语言学实验室开发的特定于韩语的ELECTRA模型，其性能相当或更优。我们的模型在处理如评论文件等非正式文本相关任务时表现卓越，同时在其他类型任务中也能取得相当的成果。

🚀 快速开始

本项目发布了基于韩语的ELECTRA模型KR - ELECTRA，以下将详细介绍模型的相关信息，包括模型细节、训练数据集、词汇表、下载链接、微调方法以及实验结果等。

✨ 主要特性

• 针对韩语进行预训练，在韩语相关任务中表现出色。
• 在非正式文本任务（如评论文件）上有显著性能提升。
• 与其他模型相比，在多个韩语自然语言处理任务中取得了更优的结果。

📦 安装指南

你可以通过以下方式下载使用本模型：

• Tensorflow - v1模型（下载）
• HuggingFace上的PyTorch模型：

from transformers import ElectraModel, ElectraTokenizer

model = ElectraModel.from_pretrained("snunlp/KR-ELECTRA-discriminator")
tokenizer = ElectraTokenizer.from_pretrained("snunlp/KR-ELECTRA-discriminator")

📚 详细文档

发布的模型

我们按照ELECTRA的基础规模模型对KR - ELECTRA模型进行了预训练。使用谷歌云平台的v3 - 8 TPU，基于Tensorflow - v1对模型进行训练。

模型详情

我们遵循了ELECTRA基础规模模型的训练参数。

超参数

预训练

训练数据集

使用了34GB的韩语文本，包括维基百科文档、新闻文章、法律文本、新闻评论、产品评论等。这些文本是平衡的，书面和口语数据的比例相同。

词汇表

词汇表大小为30000。我们基于Mecab - Ko词法分析器，使用基于词素的单元标记作为词汇表。

下载链接

• Tensorflow - v1模型（下载）
• HuggingFace上的PyTorch模型：

from transformers import ElectraModel, ElectraTokenizer

model = ElectraModel.from_pretrained("snunlp/KR-ELECTRA-discriminator")
tokenizer = ElectraTokenizer.from_pretrained("snunlp/KR-ELECTRA-discriminator")

微调

我们使用并稍微修改了来自KoELECTRA的微调代码，并额外调整了超参数。你可以从我们的GitHub下载我们用于模型的代码和配置文件。

实验结果

基线结果来自KoELECTRA。

引用

@misc{kr-electra,
  author = {Lee, Sangah and Hyopil Shin},
  title = {KR-ELECTRA: a KoRean-based ELECTRA model},
  year = {2022},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/snunlp/KR-ELECTRA}}
}