Scandi Nli Base

🚀 ScandiNLI - 斯堪的納維亞語言自然語言推理模型

ScandiNLI 是一款針對丹麥語、挪威書面語和瑞典語進行自然語言推理的模型。它基於 NbAiLab/nb - bert - base 微調而來，為斯堪的納維亞語言的自然語言推理任務提供了強大支持。我們發佈了三種不同規模的斯堪的納維亞自然語言推理（NLI）模型，以滿足不同場景的需求。

🚀 快速開始

你可以在腳本中按如下方式使用該模型：

基礎用法

>>> from transformers import pipeline
>>> classifier = pipeline(
...     "zero-shot-classification",
...     model="alexandrainst/scandi-nli-base",
... )
>>> classifier(
...     "Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'",
...     candidate_labels=['sundhed', 'politik', 'sport', 'religion'],
...     hypothesis_template="Dette eksempel handler om {}",
... )
{'sequence': "Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'",
 'labels': ['sport', 'religion', 'sundhed', 'politik'],
 'scores': [0.724335789680481,
  0.1176532730460167,
  0.08848614990711212,
  0.06952482461929321]}

✨ 主要特性

• 多語言支持：支持丹麥語、挪威書面語和瑞典語三種斯堪的納維亞語言的自然語言推理。
• 多模型選擇：提供了不同規模的模型，包括 alexandrainst/scandi - nli - large - v2、alexandrainst/scandi - nli - large、alexandrainst/scandi - nli - base 和 alexandrainst/scandi - nli - small，可根據實際需求選擇。

📚 詳細文檔

性能表現

我們分別對丹麥語、瑞典語和挪威書面語的模型進行了評估，報告了馬修斯相關係數（MCC）、宏平均 F1 分數以及準確率。

斯堪的納維亞綜合評估

斯堪的納維亞綜合分數是丹麥語、瑞典語和挪威語分數的平均值。

丹麥語評估

我們使用 DanFEVER 數據集 的測試集來評估模型在丹麥語上的性能。測試集使用 此代碼片段 生成。

瑞典語評估

我們使用 MultiNLI 數據集機器翻譯版本的測試集來評估模型在瑞典語上的性能。我們承認在非黃金標準數據集上進行評估並不理想，但目前沒有已知的瑞典語 NLI 數據集。

挪威語評估

我們使用 MultiNLI 數據集機器翻譯版本的測試集來評估模型在挪威語上的性能。同樣，我們承認在非黃金標準數據集上進行評估並不理想，但目前沒有已知的挪威語 NLI 數據集。

訓練過程

該模型在由 DanFEVER 以及 MultiNLI 和 CommitmentBank 的三種語言機器翻譯版本，還有 FEVER 和 Adversarial NLI 的瑞典語機器翻譯版本組成的數據集上進行了微調。

DanFEVER 的訓練集使用 此代碼片段 生成。在訓練過程中，三種語言被等比例採樣，並在 DanFEVER 的驗證集以及瑞典語和挪威書面語的 MultiNLI 機器翻譯版本的驗證集上進行驗證，驗證集也採用等比例採樣。

你可以查看 Github 倉庫 獲取訓練 ScandiNLI 模型的代碼，完整的訓練日誌可在 此 Weights and Biases 報告 中找到。

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：2e - 05
• 訓練批次大小：8
• 評估批次大小：8
• 隨機種子：4242
• 梯度累積步數：2
• 總訓練批次大小：32
• 優化器：Adam，β1 = 0.9，β2 = 0.999，ε = 1e - 08
• 學習率調度器類型：線性
• 學習率調度器熱身步數：500
• 最大步數：50000

🔧 技術細節

模型基礎信息

推理參數

推理時使用的假設模板為：Dette eksempel handler om {}

示例展示

模型提供了不同語言的推理示例：

• 丹麥語示例：
  • 文本：Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'
  • 候選標籤：sundhed, politik, sport, religion
• 挪威語示例：
  • 文本：Regjeringen i Russland hevder Norge fører en politikk som vil føre til opptrapping i Arktis og «den endelige ødeleggelsen av russisk - norske relasjoner».
  • 候選標籤：helse, politikk, sport, religion
• 瑞典語示例：
  • 文本：Så luras kroppens immunförsvar att bota cancer
  • 候選標籤：hälsa, politik, sport, religion

📄 許可證

本模型採用 Apache 2.0 許可證。