Scandi Nli Base

🚀 ScandiNLI - 斯堪的纳维亚语言自然语言推理模型

ScandiNLI 是一款针对丹麦语、挪威书面语和瑞典语进行自然语言推理的模型。它基于 NbAiLab/nb - bert - base 微调而来，为斯堪的纳维亚语言的自然语言推理任务提供了强大支持。我们发布了三种不同规模的斯堪的纳维亚自然语言推理（NLI）模型，以满足不同场景的需求。

🚀 快速开始

你可以在脚本中按如下方式使用该模型：

基础用法

>>> from transformers import pipeline
>>> classifier = pipeline(
...     "zero-shot-classification",
...     model="alexandrainst/scandi-nli-base",
... )
>>> classifier(
...     "Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'",
...     candidate_labels=['sundhed', 'politik', 'sport', 'religion'],
...     hypothesis_template="Dette eksempel handler om {}",
... )
{'sequence': "Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'",
 'labels': ['sport', 'religion', 'sundhed', 'politik'],
 'scores': [0.724335789680481,
  0.1176532730460167,
  0.08848614990711212,
  0.06952482461929321]}

✨ 主要特性

• 多语言支持：支持丹麦语、挪威书面语和瑞典语三种斯堪的纳维亚语言的自然语言推理。
• 多模型选择：提供了不同规模的模型，包括 alexandrainst/scandi - nli - large - v2、alexandrainst/scandi - nli - large、alexandrainst/scandi - nli - base 和 alexandrainst/scandi - nli - small，可根据实际需求选择。

📚 详细文档

性能表现

我们分别对丹麦语、瑞典语和挪威书面语的模型进行了评估，报告了马修斯相关系数（MCC）、宏平均 F1 分数以及准确率。

斯堪的纳维亚综合评估

斯堪的纳维亚综合分数是丹麦语、瑞典语和挪威语分数的平均值。

丹麦语评估

我们使用 DanFEVER 数据集 的测试集来评估模型在丹麦语上的性能。测试集使用 此代码片段 生成。

瑞典语评估

我们使用 MultiNLI 数据集机器翻译版本的测试集来评估模型在瑞典语上的性能。我们承认在非黄金标准数据集上进行评估并不理想，但目前没有已知的瑞典语 NLI 数据集。

挪威语评估

我们使用 MultiNLI 数据集机器翻译版本的测试集来评估模型在挪威语上的性能。同样，我们承认在非黄金标准数据集上进行评估并不理想，但目前没有已知的挪威语 NLI 数据集。

训练过程

该模型在由 DanFEVER 以及 MultiNLI 和 CommitmentBank 的三种语言机器翻译版本，还有 FEVER 和 Adversarial NLI 的瑞典语机器翻译版本组成的数据集上进行了微调。

DanFEVER 的训练集使用 此代码片段 生成。在训练过程中，三种语言被等比例采样，并在 DanFEVER 的验证集以及瑞典语和挪威书面语的 MultiNLI 机器翻译版本的验证集上进行验证，验证集也采用等比例采样。

你可以查看 Github 仓库 获取训练 ScandiNLI 模型的代码，完整的训练日志可在 此 Weights and Biases 报告 中找到。

训练超参数

训练过程中使用了以下超参数：

• 学习率：2e - 05
• 训练批次大小：8
• 评估批次大小：8
• 随机种子：4242
• 梯度累积步数：2
• 总训练批次大小：32
• 优化器：Adam，β1 = 0.9，β2 = 0.999，ε = 1e - 08
• 学习率调度器类型：线性
• 学习率调度器热身步数：500
• 最大步数：50000

🔧 技术细节

模型基础信息

推理参数

推理时使用的假设模板为：Dette eksempel handler om {}

示例展示

模型提供了不同语言的推理示例：

• 丹麦语示例：
  • 文本：Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'
  • 候选标签：sundhed, politik, sport, religion
• 挪威语示例：
  • 文本：Regjeringen i Russland hevder Norge fører en politikk som vil føre til opptrapping i Arktis og «den endelige ødeleggelsen av russisk - norske relasjoner».
  • 候选标签：helse, politikk, sport, religion
• 瑞典语示例：
  • 文本：Så luras kroppens immunförsvar att bota cancer
  • 候选标签：hälsa, politik, sport, religion

📄 许可证

本模型采用 Apache 2.0 许可证。