Modernbert Large Nli

🚀 Transformers模型 - ModernBERT-large

ModernBERT-large是一个经过多任务微调的模型，在自然语言推理和零样本分类等任务中表现出色，能够处理长文本推理和情感分析等多种任务。

🚀 快速开始

此模型是在任务源自然语言推理（NLI）任务上进行多任务微调的ModernBERT模型，涵盖了MNLI、ANLI、SICK、WANLI、doc - nli、LingNLI、FOLIO、FOL - NLI、LogicNLI、Label - NLI等任务（以及下表中的所有数据集）。这相当于一个“指令”版本的模型。该模型在Nvidia A30 GPU上训练了200k步。

它在推理任务（在ANLI和FOLIO上比llama 3.1 8B Instruct表现更好）、长上下文推理、情感分析和使用新标签的零样本分类方面表现出色。

✨ 主要特性

• 强大的推理能力：在多种自然语言推理任务中表现优异，如MNLI、ANLI等。
• 零样本分类：借助专门构建的NLI数据集，在零样本分类任务中表现良好。
• 长上下文处理：能够有效处理长文本的推理任务。
• 多任务适应性：可用于情感分析、自然语言推理等多种任务。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

[ZS] 零样本分类管道

from transformers import pipeline
classifier = pipeline("zero-shot-classification",model="tasksource/ModernBERT-large-nli")

text = "one day I will see the world"
candidate_labels = ['travel', 'cooking', 'dancing']
classifier(text, candidate_labels)

该模型的NLI训练数据包括label - nli，这是一个专门为提高此类零样本分类而构建的NLI数据集。

[NLI] 自然语言推理管道

from transformers import pipeline
pipe = pipeline("text-classification",model="tasksource/ModernBERT-large-nli")
pipe([dict(text='there is a cat',
  text_pair='there is a black cat')]) #list of (premise,hypothesis)

高级用法

此模型的检查点比基础版本具有更强的推理和细粒度能力，可用于进一步的微调。

📚 详细文档

模型测试准确率

以下表格展示了模型的测试准确率。这些是同一单个Transformer在不同分类头下的得分。通过在单任务上进行微调（如SST）可以获得进一步的提升，但此检查点非常适合零样本分类和自然语言推理（矛盾/蕴含/中立分类）。

🔧 技术细节

文档未提及技术实现细节，故跳过此章节。

📄 许可证

本模型使用的许可证为Apache - 2.0。

📚 引用

@inproceedings{sileo-2024-tasksource,
    title = "tasksource: A Large Collection of {NLP} tasks with a Structured Dataset Preprocessing Framework",
    author = "Sileo, Damien",
    booktitle = "Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)",
    month = may,
    year = "2024",
    address = "Torino, Italia",
    publisher = "ELRA and ICCL",
    url = "https://aclanthology.org/2024.lrec-main.1361",
    pages = "15655--15684",
}