Scandi Nli Small

🚀 ScandiNLI - 斯堪的纳维亚语言自然语言推理模型

ScandiNLI 是一款专为丹麦语、挪威书面语和瑞典语设计的自然语言推理模型。它基于预训练模型进行微调，为斯堪的纳维亚地区的自然语言处理任务提供了强大的支持。

🚀 快速开始

你可以在脚本中按如下方式使用该模型：

>>> from transformers import pipeline
>>> classifier = pipeline(
...     "zero-shot-classification",
...     model="alexandrainst/scandi-nli-small",
... )
>>> classifier(
...     "Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'",
...     candidate_labels=['sundhed', 'politik', 'sport', 'religion'],
...     hypothesis_template="Dette eksempel handler om {}",
... )
{'sequence': "Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'",
 'labels': ['religion', 'sport', 'politik', 'sundhed'],
 'scores': [0.4504755437374115,
  0.20737220346927643,
  0.1976872682571411,
  0.14446501433849335]}

✨ 主要特性

• 多语言支持：支持丹麦语、挪威书面语和瑞典语三种斯堪的纳维亚语言。
• 零样本分类：可用于零样本分类任务，无需大量标注数据。
• 多种模型选择：提供不同规模的模型，可根据需求选择。

📚 详细文档

性能评估

我们分别对丹麦语、瑞典语和挪威书面语进行了模型评估，报告了马修斯相关系数（MCC）、宏平均 F1 分数和准确率。

斯堪的纳维亚地区综合评估

斯堪的纳维亚地区的分数是丹麦语、瑞典语和挪威语分数的平均值。

丹麦语评估

我们使用 DanFEVER 数据集 的测试集来评估模型的丹麦语性能。

瑞典语评估

我们使用 MultiNLI 数据集机器翻译版本的测试集来评估模型的瑞典语性能。

挪威语评估

我们使用 MultiNLI 数据集机器翻译版本的测试集来评估模型的挪威语性能。

训练过程

该模型在由 DanFEVER、MultiNLI 和 CommitmentBank 的机器翻译版本组成的数据集上进行了微调。同时，还使用了 FEVER 和 Adversarial NLI 的瑞典语机器翻译版本。

DanFEVER 的训练集使用 此代码片段 生成。训练过程中，三种语言的样本被均匀采样，并在 DanFEVER 的验证集以及瑞典语和挪威书面语的 MultiNLI 机器翻译版本的验证集上进行验证。

你可以查看 Github 仓库 以获取训练 ScandiNLI 模型的代码，完整的训练日志可在 Weights and Biases 报告 中找到。

训练超参数

训练过程中使用了以下超参数：

• 学习率：2e-05
• 训练批次大小：32
• 评估批次大小：32
• 随机种子：4242
• 梯度累积步数：1
• 总训练批次大小：32
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器类型：线性
• 学习率调度器热身步数：500
• 最大步数：50,000

📄 许可证

本模型采用 Apache-2.0 许可证。