Modernbert Large Nli

🚀 Transformers模型 - ModernBERT-large

ModernBERT-large是一個經過多任務微調的模型，在自然語言推理和零樣本分類等任務中表現出色，能夠處理長文本推理和情感分析等多種任務。

🚀 快速開始

此模型是在任務源自然語言推理（NLI）任務上進行多任務微調的ModernBERT模型，涵蓋了MNLI、ANLI、SICK、WANLI、doc - nli、LingNLI、FOLIO、FOL - NLI、LogicNLI、Label - NLI等任務（以及下表中的所有數據集）。這相當於一個“指令”版本的模型。該模型在Nvidia A30 GPU上訓練了200k步。

它在推理任務（在ANLI和FOLIO上比llama 3.1 8B Instruct表現更好）、長上下文推理、情感分析和使用新標籤的零樣本分類方面表現出色。

✨ 主要特性

• 強大的推理能力：在多種自然語言推理任務中表現優異，如MNLI、ANLI等。
• 零樣本分類：藉助專門構建的NLI數據集，在零樣本分類任務中表現良好。
• 長上下文處理：能夠有效處理長文本的推理任務。
• 多任務適應性：可用於情感分析、自然語言推理等多種任務。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

[ZS] 零樣本分類管道

from transformers import pipeline
classifier = pipeline("zero-shot-classification",model="tasksource/ModernBERT-large-nli")

text = "one day I will see the world"
candidate_labels = ['travel', 'cooking', 'dancing']
classifier(text, candidate_labels)

該模型的NLI訓練數據包括label - nli，這是一個專門為提高此類零樣本分類而構建的NLI數據集。

[NLI] 自然語言推理管道

from transformers import pipeline
pipe = pipeline("text-classification",model="tasksource/ModernBERT-large-nli")
pipe([dict(text='there is a cat',
  text_pair='there is a black cat')]) #list of (premise,hypothesis)

高級用法

此模型的檢查點比基礎版本具有更強的推理和細粒度能力，可用於進一步的微調。

📚 詳細文檔

模型測試準確率

以下表格展示了模型的測試準確率。這些是同一單個Transformer在不同分類頭下的得分。通過在單任務上進行微調（如SST）可以獲得進一步的提升，但此檢查點非常適合零樣本分類和自然語言推理（矛盾/蘊含/中立分類）。

🔧 技術細節

文檔未提及技術實現細節，故跳過此章節。

📄 許可證

本模型使用的許可證為Apache - 2.0。

📚 引用

@inproceedings{sileo-2024-tasksource,
    title = "tasksource: A Large Collection of {NLP} tasks with a Structured Dataset Preprocessing Framework",
    author = "Sileo, Damien",
    booktitle = "Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)",
    month = may,
    year = "2024",
    address = "Torino, Italia",
    publisher = "ELRA and ICCL",
    url = "https://aclanthology.org/2024.lrec-main.1361",
    pages = "15655--15684",
}