Modernbert Large Nli

🚀 モデルIDのモデルカード

このモデルは、MNLI、ANLI、SICK、WANLI、doc - nli、LingNLI、FOLIO、FOL - NLI、LogicNLI、Label - NLIなどのtasksourceの自然言語推論（NLI）タスク（下記の表にあるすべてのデータセットを含む）でマルチタスク微調整されたModernBERTです。これは「インストラクト」バージョンに相当します。

このモデルは、Nvidia A30 GPUで20万ステップの訓練を行いました。

このモデルは、推論タスク（ANLIとFOLIOではllama 3.1 8B Instructよりも優れています）、長文脈推論、感情分析、および新しいラベルを用いたゼロショット分類に非常に優れています。

次の表は、モデルのテスト精度を示しています。これらは、異なる分類ヘッドを持つ同じ単一のトランスフォーマーのスコアです。単一タスク（例：SST）で微調整することでさらなる改善が期待できますが、このチェックポイントはゼロショット分類と自然言語推論（矛盾/含意/中立分類）に最適です。

🚀 クイックスタート

このモデルは、自然言語推論やゼロショット分類などのタスクに使用できます。以下に具体的な使用方法を示します。

✨ 主な機能

• 自然言語推論タスクにおける高い精度
• ゼロショット分類に適している
• 長文脈推論や感情分析にも優れた性能

💻 使用例

基本的な使用法

[ZS] ゼロショット分類パイプライン

from transformers import pipeline
classifier = pipeline("zero-shot-classification",model="tasksource/ModernBERT-large-nli")

text = "one day I will see the world"
candidate_labels = ['travel', 'cooking', 'dancing']
classifier(text, candidate_labels)

このモデルのNLI訓練データには、label - nliという、この種のゼロショット分類を改善するために特別に構築されたNLIデータセットが含まれています。

[NLI] 自然言語推論パイプライン

from transformers import pipeline
pipe = pipeline("text-classification",model="tasksource/ModernBERT-large-nli")
pipe([dict(text='there is a cat',
  text_pair='there is a black cat')]) #list of (premise,hypothesis)

高度な使用法

さらなる微調整のバックボーン

このチェックポイントは、ベースバージョンよりも強力な推論能力と細粒度の能力を持ち、さらなる微調整に使用できます。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

📚 引用

@inproceedings{sileo-2024-tasksource,
    title = "tasksource: A Large Collection of {NLP} tasks with a Structured Dataset Preprocessing Framework",
    author = "Sileo, Damien",
    booktitle = "Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)",
    month = may,
    year = "2024",
    address = "Torino, Italia",
    publisher = "ELRA and ICCL",
    url = "https://aclanthology.org/2024.lrec-main.1361",
    pages = "15655--15684",
}