Scandi Nli Small

🚀 ScandiNLI - 斯堪的納維亞語言自然語言推理模型

ScandiNLI 是一款專為丹麥語、挪威書面語和瑞典語設計的自然語言推理模型。它基於預訓練模型進行微調，為斯堪的納維亞地區的自然語言處理任務提供了強大的支持。

🚀 快速開始

你可以在腳本中按如下方式使用該模型：

>>> from transformers import pipeline
>>> classifier = pipeline(
...     "zero-shot-classification",
...     model="alexandrainst/scandi-nli-small",
... )
>>> classifier(
...     "Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'",
...     candidate_labels=['sundhed', 'politik', 'sport', 'religion'],
...     hypothesis_template="Dette eksempel handler om {}",
... )
{'sequence': "Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'",
 'labels': ['religion', 'sport', 'politik', 'sundhed'],
 'scores': [0.4504755437374115,
  0.20737220346927643,
  0.1976872682571411,
  0.14446501433849335]}

✨ 主要特性

• 多語言支持：支持丹麥語、挪威書面語和瑞典語三種斯堪的納維亞語言。
• 零樣本分類：可用於零樣本分類任務，無需大量標註數據。
• 多種模型選擇：提供不同規模的模型，可根據需求選擇。

📚 詳細文檔

性能評估

我們分別對丹麥語、瑞典語和挪威書面語進行了模型評估，報告了馬修斯相關係數（MCC）、宏平均 F1 分數和準確率。

斯堪的納維亞地區綜合評估

斯堪的納維亞地區的分數是丹麥語、瑞典語和挪威語分數的平均值。

丹麥語評估

我們使用 DanFEVER 數據集 的測試集來評估模型的丹麥語性能。

瑞典語評估

我們使用 MultiNLI 數據集機器翻譯版本的測試集來評估模型的瑞典語性能。

挪威語評估

我們使用 MultiNLI 數據集機器翻譯版本的測試集來評估模型的挪威語性能。

訓練過程

該模型在由 DanFEVER、MultiNLI 和 CommitmentBank 的機器翻譯版本組成的數據集上進行了微調。同時，還使用了 FEVER 和 Adversarial NLI 的瑞典語機器翻譯版本。

DanFEVER 的訓練集使用 此代碼片段 生成。訓練過程中，三種語言的樣本被均勻採樣，並在 DanFEVER 的驗證集以及瑞典語和挪威書面語的 MultiNLI 機器翻譯版本的驗證集上進行驗證。

你可以查看 Github 倉庫 以獲取訓練 ScandiNLI 模型的代碼，完整的訓練日誌可在 Weights and Biases 報告 中找到。

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：2e-05
• 訓練批次大小：32
• 評估批次大小：32
• 隨機種子：4242
• 梯度累積步數：1
• 總訓練批次大小：32
• 優化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 學習率調度器類型：線性
• 學習率調度器熱身步數：500
• 最大步數：50,000

📄 許可證

本模型採用 Apache-2.0 許可證。