Modernbert Large Nli

🚀 ModernBERT-large-nliモデル

このモデルは、自然言語推論（NLI）タスクに特化した高性能なモデルです。多様なNLIタスクに対してマルチタスク微調整が行われており、推論タスクやゼロショット分類などの様々な自然言語処理タスクで優れた性能を発揮します。

🚀 クイックスタート

このモデルは、MNLI、ANLI、SICKなどの様々なNLIタスクでマルチタスク微調整されたModernBERTモデルです。「instruct」バージョンに相当し、Nvidia A30 GPUで20万ステップの学習を行っています。推論タスクや長文脈推論、センチメント分析、新しいラベルによるゼロショット分類などで優れた性能を発揮します。

✨ 主な機能

• 高度な推論能力：ANLIやFOLIOなどのタスクで、llama 3.1 8B Instructよりも優れた性能を発揮します。
• 長文脈推論：長い文脈に対する推論が可能です。
• センチメント分析：文章のセンチメントを高精度に分析します。
• ゼロショット分類：新しいラベルに対するゼロショット分類が可能です。

📦 インストール

このモデルはtransformersライブラリを使用して利用できます。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

[ZS] ゼロショット分類パイプライン

from transformers import pipeline
classifier = pipeline("zero-shot-classification",model="tasksource/ModernBERT-large-nli")

text = "one day I will see the world"
candidate_labels = ['travel', 'cooking', 'dancing']
classifier(text, candidate_labels)

このモデルのNLI学習データには、label-nliが含まれており、このようなゼロショット分類の性能向上に役立っています。

[NLI] 自然言語推論パイプライン

from transformers import pipeline
pipe = pipeline("text-classification",model="tasksource/ModernBERT-large-nli")
pipe([dict(text='there is a cat',
  text_pair='there is a black cat')]) #list of (premise,hypothesis)

高度な使用法

このチェックポイントは、ベースバージョンよりも強力な推論能力と細粒度な能力を持っており、さらなる微調整に使用することができます。

📚 ドキュメント

モデル情報

モデルのテスト精度

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で公開されています。

📚 引用

@inproceedings{sileo-2024-tasksource,
    title = "tasksource: A Large Collection of {NLP} tasks with a Structured Dataset Preprocessing Framework",
    author = "Sileo, Damien",
    booktitle = "Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)",
    month = may,
    year = "2024",
    address = "Torino, Italia",
    publisher = "ELRA and ICCL",
    url = "https://aclanthology.org/2024.lrec-main.1361",
    pages = "15655--15684",
}