Robbertje-1-gb-merged开源荷兰语模型 - 多种规模版本适用多自然语言处理任务

Home

Robbertje 1 Gb Merged

Developed by DTAI-KULeuven

RobBERTje是基于RobBERT蒸馏的一系列荷兰语模型，提供不同规模和训练设置的版本，适用于多种自然语言处理任务。

大型语言模型

Transformers

OtherOpen Source License:MIT #荷兰语蒸馏模型 #轻量级BERT #多任务适配

Downloads 39

Release Time : 3/2/2022

Model Overview

RobBERTje是基于RobBERT的蒸馏模型集合，专门针对荷兰语优化，提供多种参数规模的版本以适应不同计算需求。

Model Features

多版本选择

提供4种不同训练设置的模型版本，包括非乱序版、乱序版、合并版和精简BORT版

高效蒸馏

通过知识蒸馏技术从RobBERT教师模型中学习，保持性能的同时大幅减少参数量

广泛评估

在多个荷兰语NLP任务（DBRD、DIE-DAT、NER、POS、SICK-NL）上进行了全面评估

Model Capabilities

荷兰语文本理解

掩码语言建模

文本分类

命名实体识别

词性标注

自然语言推理

Use Cases

学术研究

荷兰语NLP研究

用于荷兰语自然语言处理任务的基准模型和研究工具

在多个任务上接近教师模型RobBERT的性能

工业应用

荷兰语文本处理

适用于需要荷兰语理解能力的商业应用，如客服机器人、内容审核等

提供高效的推理性能，适合资源受限环境

🚀 RobBERTje：基于荷兰语BERT的蒸馏模型集合

RobBERTje是一系列基于RobBERT的蒸馏模型。这里有多种不同规模和训练设置的模型，你可以根据自己的使用场景进行选择。我们也在持续努力发布性能更优的模型，欢迎关注仓库获取更新。

RobBERTje: A collection of distilled Dutch BERT-based models

✨ 主要特性

提供多种不同规模和训练设置的荷兰语蒸馏模型。
持续更新以提升模型性能。

📚 详细文档

模型介绍

模型	描述	参数数量	训练数据规模	Huggingface ID
非打乱版	在未打乱的oscar语料库变体上训练，训练和蒸馏过程中未采取任何操作来保留顺序。	7400万	1GB	DTAI-KULeuven/robbertje-1-gb-non-shuffled
打乱版	在公开可用的打乱后的OSCAR语料库上训练。	7400万	1GB	DTAI-KULeuven/robbertje-1-gb-shuffled
合并版 (p=0.5)	与非打乱版类似，但同一文档的连续句子有50%的概率被合并。	7400万	1GB	此模型
BORT	更小的版本，有8个注意力头而非12个，4层而非6层（RobBERT为12层）。	4600万	1GB	DTAI-KULeuven/robbertje-1-gb-bort

实验结果

内部评估结果

我们根据[引用]计算了_伪困惑度_（PPPL），这是我们蒸馏库中的一个内置指标。该指标可以反映模型对输入分布的捕捉能力。

模型	PPPL
RobBERT（教师模型）	7.76
非打乱版	12.95
打乱版	18.74
合并版 (p=0.5)	17.10
BORT	26.44

外部评估结果

我们还像教师模型RobBERT一样，在多个下游任务上对我们的模型进行了评估。自那次评估以来，一个名为SICK-NL的荷兰语自然语言推理任务也发布了，我们也用它对模型进行了评估。

模型	DBRD	DIE-DAT	NER	POS	SICK-NL
RobBERT（教师模型）	94.4	99.2	89.1	96.4	84.2
非打乱版	90.2	98.4	82.9	95.5	83.4
打乱版	92.5	98.2	82.7	95.6	83.4
合并版 (p=0.5)	92.9	96.5	81.8	95.2	82.8
BORT	89.6	92.2	79.7	94.3	81.0