Zeroshot Selectra Medium

🚀 Zero-shot SELECTRA：基于SELECTRA的零样本分类器

Zero-shot SELECTRA 是一个基于 SELECTRA模型 在 XNLI数据集 的西班牙语部分上微调得到的模型。你可以将它与Hugging Face的 零样本分类管道 结合使用，进行 零样本分类。

与我们之前基于 BETO的零样本分类器 相比，Zero-shot SELECTRA 更加轻量级。正如“指标”部分所示，“small” 版本（参数少5倍）的性能稍差，而 “medium” 版本（参数少3倍） 优于 基于BETO的零样本分类器。

🚀 快速开始

安装

本项目依赖 transformers 库，你可以使用以下命令进行安装：

pip install transformers

✨ 主要特性

• 轻量级：相比基于BETO的零样本分类器，Zero-shot SELECTRA更加轻量级，在性能和参数数量之间取得了更好的平衡。
• 多语言支持：基于XNLI数据集进行微调，支持西班牙语的零样本分类任务。
• 易于使用：可以直接与Hugging Face的零样本分类管道结合使用，方便快捷。

📦 安装指南

安装所需的依赖库：

pip install transformers

💻 使用示例

基础用法

from transformers import pipeline
classifier = pipeline("zero-shot-classification", 
                       model="Recognai/zeroshot_selectra_medium")

classifier(
    "El autor se perfila, a los 50 años de su muerte, como uno de los grandes de su siglo",
    candidate_labels=["cultura", "sociedad", "economia", "salud", "deportes"],
    hypothesis_template="Este ejemplo es {}."
)
"""Output
{'sequence': 'El autor se perfila, a los 50 años de su muerte, como uno de los grandes de su siglo',
 'labels': ['sociedad', 'cultura', 'economia', 'salud', 'deportes'],
 'scores': [0.6450043320655823,
  0.16710571944713593,
  0.08507631719112396,
  0.0759836807847023,
  0.026829993352293968]}
"""

hypothesis_template 参数很重要，应该使用西班牙语。在右侧的小部件中，此参数设置为其默认值："This example is {}.", 因此预期会有不同的结果。

高级用法

你可以根据具体需求调整 hypothesis_template 参数，以获得更符合需求的分类结果。

📚 详细文档

演示和教程

如果你想了解该模型的实际应用，我们使用 Rubrix 创建了一个基础教程。Rubrix 是一个免费的开源工具，用于 探索、注释和监控NLP数据。

该教程将向你展示如何评估这个分类器在西班牙语新闻分类中的性能，以及如何使用它来构建一个训练集，用于训练有监督的分类器（如果你想获得更精确的结果或随着时间的推移改进模型，这可能会很有用）。

你可以 在此找到教程。

查看下面的视频，展示了注释过程中的预测结果（可以看到每个示例的预测结果几乎都是正确的）。

指标

* 使用零样本学习 (ZSL) 进行评估

• XNLI：所述准确率是指在 XNLI数据集 的测试部分上的准确率，模型在训练部分进行了微调。
• MLSUM：对于此准确率，我们采用 MLSUM数据集 的测试集，并对5个选定标签的摘要进行分类。有关详细信息，请查看我们的 评估笔记本。

训练

有关训练的详细信息，请查看我们的 训练笔记本。

🔧 技术细节

本项目基于SELECTRA模型在XNLI数据集的西班牙语部分上进行微调，使用了Hugging Face的零样本分类管道。通过在不同规模的模型上进行实验，比较了不同模型在XNLI和MLSUM数据集上的性能。

📄 许可证

本项目采用 Apache-2.0 许可证。

👥 作者

• David Fidalgo (GitHub)
• Daniel Vila (GitHub)
• Francisco Aranda (GitHub)
• Javier Lopez (GitHub)