Scandi Nli Large

🚀 ScandiNLI - スカンジナビア諸語向け自然言語推論モデル

このモデルは、デンマーク語、ノルウェー語（ボクマール）、スウェーデン語の自然言語推論に特化した、NbAiLab/nb-bert-large のファインチューニング版です。

スカンジナビアの自然言語推論（NLI）用に、サイズの異なる3つのモデルをリリースしています。

• alexandrainst/scandi-nli-large-v2
• alexandrainst/scandi-nli-large (このモデル)
• alexandrainst/scandi-nli-base
• alexandrainst/scandi-nli-small

large-v2モデルのデモは、このHugging Face Space で確認できます。是非チェックしてみてください！

各モデルの性能とモデルサイズについては、以下の「性能」セクションで確認できます。

🚀 クイックスタート

このモデルは、以下のようにスクリプトで使用できます。

>>> from transformers import pipeline
>>> classifier = pipeline(
...     "zero-shot-classification",
...     model="alexandrainst/scandi-nli-large",
... )
>>> classifier(
...     "Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'",
...     candidate_labels=['sundhed', 'politik', 'sport', 'religion'],
...     hypothesis_template="Dette eksempel handler om {}",
... )
{'sequence': "Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'",
 'labels': ['sport', 'religion', 'politik', 'sundhed'],
 'scores': [0.6134647727012634,
  0.30309760570526123,
  0.05021871626377106,
  0.03321893885731697]}

📊 性能

モデルの性能評価は、スカンジナビア諸語全体の性能と、デンマーク語、スウェーデン語、ノルウェー語（ボクマール）の各言語別の性能の両方で行っています。

すべてのケースで、マシューズ相関係数（MCC）、マクロ平均F1スコア、および正解率を報告しています。

スカンジナビア諸語の評価

スカンジナビア諸語のスコアは、デンマーク語、スウェーデン語、ノルウェー語のスコアの平均です。各言語の詳細は以下のセクションで確認できます。

デンマーク語の評価

デンマーク語の性能評価には、DanFEVERデータセット のテスト分割を使用しています。

テスト分割は、このgist を使用して生成されています。

スウェーデン語の評価

スウェーデン語の性能評価には、MultiNLI データセットの機械翻訳版のテスト分割を使用しています。

ゴールドスタンダードのデータセットで評価していないことは理想的ではないことを認識していますが、残念ながらスウェーデン語のNLIデータセットは知られていません。

ノルウェー語の評価

ノルウェー語の性能評価には、MultiNLI データセットの機械翻訳版のテスト分割を使用しています。

ゴールドスタンダードのデータセットで評価していないことは理想的ではないことを認識していますが、残念ながらノルウェー語のNLIデータセットは知られていません。

🔧 学習手順

このモデルは、DanFEVER と、MultiNLI および CommitmentBank の3つの言語への機械翻訳版、そして FEVER および Adversarial NLI のスウェーデン語への機械翻訳版から構成されるデータセットでファインチューニングされています。

DanFEVERの学習分割は、このgist を使用して生成されています。

学習中は、3つの言語が均等にサンプリングされ、検証には DanFEVER の検証分割と、スウェーデン語およびノルウェー語（ボクマール）の MultiNLI の機械翻訳版の検証分割が使用され、均等にサンプリングされています。

ScandiNLIモデルの学習に使用されたコードは、Githubリポジトリ で確認できます。完全な学習ログは、このWeights and Biasesレポート で確認できます。

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 2e-05
• 学習バッチサイズ: 2
• 評価バッチサイズ: 2
• シード: 4242
• 勾配累積ステップ数: 16
• 総学習バッチサイズ: 32
• オプティマイザ: Adam（ベータ=(0.9, 0.999)、イプシロン=1e-08）
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップステップ数: 500
• 最大ステップ数: 50,000

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。