Scandi Nli Small

🚀 ScandiNLI - スカンジナビア諸語向け自然言語推論モデル

このモデルは、デンマーク語、ノルウェー語（ボクマール）、スウェーデン語における自然言語推論のために、jonfd/electra-small-nordic をファインチューニングしたバージョンです。

スカンジナビアの自然言語推論（NLI）用に、異なるサイズの3つのモデルをリリースしています。

• alexandrainst/scandi-nli-large-v2
• alexandrainst/scandi-nli-large
• alexandrainst/scandi-nli-base
• alexandrainst/scandi-nli-small（このモデル）

large-v2モデルのデモは、このHugging Face Space で確認できます。是非チェックしてみてください！

各モデルの性能とモデルサイズについては、以下の「性能」セクションで確認できます。

🚀 クイックスタート

このモデルは、以下のようにスクリプト内で使用できます。

基本的な使用法

>>> from transformers import pipeline
>>> classifier = pipeline(
...     "zero-shot-classification",
...     model="alexandrainst/scandi-nli-small",
... )
>>> classifier(
...     "Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'",
...     candidate_labels=['sundhed', 'politik', 'sport', 'religion'],
...     hypothesis_template="Dette eksempel handler om {}",
... )
{'sequence': "Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'",
 'labels': ['religion', 'sport', 'politik', 'sundhed'],
 'scores': [0.4504755437374115,
  0.20737220346927643,
  0.1976872682571411,
  0.14446501433849335]}

✨ 主な機能

• デンマーク語、ノルウェー語（ボクマール）、スウェーデン語に対応した自然言語推論モデルです。
• 異なるサイズのモデルを提供しており、用途に応じて選択できます。

📚 ドキュメント

性能

モデルの性能は、デンマーク語、スウェーデン語、ノルウェー語（ボクマール）でそれぞれ評価しています。全ての場合で、マシュー相関係数（MCC）、マクロ平均F1スコア、および正解率を報告しています。

スカンジナビア諸語の評価

スカンジナビア諸語のスコアは、デンマーク語、スウェーデン語、ノルウェー語のスコアの平均です。詳細は以下のセクションを参照してください。

デンマーク語の評価

モデルのデンマーク語性能の評価には、DanFEVERデータセット のテスト分割を使用しています。テスト分割は、このgist を使用して生成されています。

スウェーデン語の評価

モデルのスウェーデン語性能の評価には、MultiNLI データセットの機械翻訳バージョンのテスト分割を使用しています。ゴールドスタンダードのデータセットで評価していないことは理想的ではないことを認識していますが、残念ながらスウェーデン語のNLIデータセットは知られていません。

ノルウェー語の評価

モデルのノルウェー語性能の評価には、MultiNLI データセットの機械翻訳バージョンのテスト分割を使用しています。ゴールドスタンダードのデータセットで評価していないことは理想的ではないことを認識していますが、残念ながらノルウェー語のNLIデータセットは知られていません。

学習手順

このモデルは、DanFEVER と、MultiNLI および CommitmentBank の全3言語への機械翻訳バージョン、そして FEVER および Adversarial NLI のスウェーデン語への機械翻訳バージョンから構成されるデータセットでファインチューニングされています。

DanFEVERの学習分割は、このgist を使用して生成されています。学習中は、3つの言語が均等にサンプリングされ、DanFEVER の検証分割と、スウェーデン語およびノルウェー語（ボクマール）の MultiNLI の機械翻訳バージョンの検証分割で検証され、均等にサンプリングされます。

ScandiNLIモデルの学習に使用されたコードは、Githubリポジトリ を参照してください。また、完全な学習ログは、このWeights and Biasesレポート で確認できます。

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 2e-05
• train_batch_size: 32
• eval_batch_size: 32
• seed: 4242
• gradient_accumulation_steps: 1
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9, 0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• max_steps: 50,000

🔧 技術詳細

このモデルは、jonfd/electra-small-nordic をベースに、スカンジナビア諸語向けに自然言語推論タスクに特化してファインチューニングされています。学習データセットには、複数の言語のデータを用いており、各言語の性能を均等に向上させるように学習されています。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。