Nordic Roberta Wiki

🚀 北欧罗伯塔维基模型

本项目的北欧罗伯塔模型在瑞典语、丹麦语和挪威语的维基百科数据上进行训练，可用于多种自然语言处理任务，为北欧语言的相关研究和应用提供了有力支持。

🚀 快速开始

该模型可直接通过Hugging Face的相关接口进行调用，你可以根据自身需求对其进行微调以适应特定任务。

✨ 主要特性

• 多语言支持：在瑞典语、丹麦语和挪威语的维基百科数据上进行训练，能够处理多种北欧语言。
• 广泛应用：可用于命名实体识别、情感分析等自然语言处理任务。

📚 详细文档

模型描述

北欧罗伯塔模型在瑞典语、丹麦语和挪威语的维基百科数据上进行训练，具备处理多种北欧语言的能力。

评估结果

丹麦语命名实体识别评估

在丹麦语命名实体识别任务上，对每个模型在DaNE数据集上进行3个轮次的微调，每个模型重复5次，并计算均值的95%置信区间。结果如下：

• xlm - roberta - base : 88.01 ± 0.43
• flax - community/nordic - roberta - wiki: 85.75 ± 0.69（本模型）
• Maltehb/danish - bert - botxo: 85.38 ± 0.55
• flax - community/roberta - base - danish: 80.14 ± 1.47
• flax - community/roberta - base - scandinavian : 78.03 ± 3.02
• Maltehb/-l - ctra - danish - electra - small - cased: 57.87 ± 3.19
• NbAiLab/nb - bert - base : 30.24 ± 1.21
• 随机初始化的RoBERTa模型: 19.79 ± 2.00

丹麦语情感分析评估

在测试集上的结果，每个模型训练5次，“±”表示平均得分的95%置信区间：

• Maltehb/danish - bert - botxo: 65.19 ± 0.53
• NbAiLab/nb - bert - base : 63.80 ± 0.77
• xlm - roberta - base : 63.55 ± 1.59
• flax - community/nordic - roberta - wiki : 56.46 ± 1.77
• flax - community/roberta - base - danish : 54.73 ± 8.96
• flax - community/roberta - base - scandinavian : 44.28 ± 9.21
• Maltehb/-l - ctra - danish - electra - small - cased : 47.78 ± 12.65
• 随机初始化的RoBERTa模型: 36.96 ± 1.02
• Maltehb/roberta - base - scandinavian : 33.65 ± 8.32

模型系列

本模型是在Huggingface Flax/Jax挑战期间，使用Flax Jax在TPU上训练的一系列模型的一部分。

相关模型链接

GPT模型

• 瑞典语GPT：https://huggingface.co/birgermoell/swedish - gpt/
• 瑞典语GPT维基：https://huggingface.co/flax - community/swe - gpt - wiki
• 北欧GPT维基：https://huggingface.co/flax - community/nordic - gpt - wiki
• 丹麦语GPT维基：https://huggingface.co/flax - community/dansk - gpt - wiki
• 挪威语GPT维基：https://huggingface.co/flax - community/norsk - gpt - wiki

Roberta模型

• 北欧Roberta维基：https://huggingface.co/flax - community/nordic - roberta - wiki
• 瑞典语Roberta维基Oscar：https://huggingface.co/flax - community/swe - roberta - wiki - oscar
• 瑞典语Scandi Roberta：https://huggingface.co/birgermoell/roberta - swedish - scandi
• 瑞典语Roberta：https://huggingface.co/birgermoell/roberta - swedish

瑞典语T5模型

• 瑞典语T5基础模型：https://huggingface.co/birgermoell/t5 - base - swedish

📄 许可证

本项目采用CC - BY - 4.0许可证。