Modernbert Large Zeroshot V1

🚀 現代BERT大模型零樣本分類器

本項目是一個針對自然語言推理任務微調的模型。它基於 ModernBERT-large 架構，在特定數據集上訓練後，能夠出色地完成零樣本分類任務，為自然語言處理領域提供了強大的支持。

🚀 快速開始

要使用這個模型，你需要安裝必要的庫。可以使用以下命令進行安裝：

pip install transformers torch datasets

安裝完成後，你可以使用以下代碼進行零樣本分類任務：

classifier = pipeline("zero-shot-classification", "r-f/ModernBERT-large-zeroshot-v1")
sequence_to_classify = "I want to be an actor."
candidate_labels = ["space", "economy", "entertainment"]
output = classifier(sequence_to_classify, candidate_labels, multi_label=False)
print(output)
>>{'sequence': 'I want to be an actor.', 'labels': ['entertainment', 'space', 'economy'], 'scores': [0.9614731073379517, 0.028852475807070732, 0.009674412198364735]}

✨ 主要特性

• 模型類型：基於BERT變體的 ModernBERT-large 模型。
• 任務類型：專注於零樣本分類任務。
• 支持語言：英語。
• 訓練數據：使用 MoritzLaurer/synthetic_zeroshot_mixtral_v0.1 數據集進行微調。

📦 安裝指南

pip install transformers torch datasets

💻 使用示例

基礎用法

classifier = pipeline("zero-shot-classification", "r-f/ModernBERT-large-zeroshot-v1")
sequence_to_classify = "I want to be an actor."
candidate_labels = ["space", "economy", "entertainment"]
output = classifier(sequence_to_classify, candidate_labels, multi_label=False)
print(output)

📚 詳細文檔

模型概述

性能指標

• 訓練損失：衡量模型對訓練數據的擬合程度。
• 驗證損失：衡量模型對未見過數據的泛化能力。
• 準確率：所有示例中正確預測的百分比。
• F1分數：精確率和召回率之間的平衡指標。

模型卡片

• 模型名稱：ModernBERT-large-zeroshot-v1
• Hugging Face倉庫：r-f/ModernBERT-large-zeroshot-v1
• 許可證：MIT（或其他適用許可證）
• 日期：23 - 12 - 2024

訓練細節

• 模型架構：ModernBERT（大模型變體）
• 訓練框架：PyTorch
• 批量大小：32
• 學習率：2e - 5
• 優化器：AdamW
• 硬件設備：RTX 4090

致謝

• 模型在 MoritzLaurer/synthetic_zeroshot_mixtral_v0.1 數據集上進行訓練，訓練腳本改編自 MoritzLaurer/zeroshot-classifier。
• 特別感謝Hugging Face社區和所有對transformers庫做出貢獻的人員。

📄 許可證

本模型採用MIT許可證。更多詳細信息請參閱LICENSE文件。