Zeroshot Selectra Medium

🚀 Zero-shot SELECTRA：基於SELECTRA的零樣本分類器

Zero-shot SELECTRA 是一個基於 SELECTRA模型 在 XNLI數據集 的西班牙語部分上微調得到的模型。你可以將它與Hugging Face的 零樣本分類管道 結合使用，進行 零樣本分類。

與我們之前基於 BETO的零樣本分類器 相比，Zero-shot SELECTRA 更加輕量級。正如“指標”部分所示，“small” 版本（參數少5倍）的性能稍差，而 “medium” 版本（參數少3倍） 優於 基於BETO的零樣本分類器。

🚀 快速開始

安裝

本項目依賴 transformers 庫，你可以使用以下命令進行安裝：

pip install transformers

✨ 主要特性

• 輕量級：相比基於BETO的零樣本分類器，Zero-shot SELECTRA更加輕量級，在性能和參數數量之間取得了更好的平衡。
• 多語言支持：基於XNLI數據集進行微調，支持西班牙語的零樣本分類任務。
• 易於使用：可以直接與Hugging Face的零樣本分類管道結合使用，方便快捷。

📦 安裝指南

安裝所需的依賴庫：

pip install transformers

💻 使用示例

基礎用法

from transformers import pipeline
classifier = pipeline("zero-shot-classification", 
                       model="Recognai/zeroshot_selectra_medium")

classifier(
    "El autor se perfila, a los 50 años de su muerte, como uno de los grandes de su siglo",
    candidate_labels=["cultura", "sociedad", "economia", "salud", "deportes"],
    hypothesis_template="Este ejemplo es {}."
)
"""Output
{'sequence': 'El autor se perfila, a los 50 años de su muerte, como uno de los grandes de su siglo',
 'labels': ['sociedad', 'cultura', 'economia', 'salud', 'deportes'],
 'scores': [0.6450043320655823,
  0.16710571944713593,
  0.08507631719112396,
  0.0759836807847023,
  0.026829993352293968]}
"""

hypothesis_template 參數很重要，應該使用西班牙語。在右側的小部件中，此參數設置為其默認值："This example is {}.", 因此預期會有不同的結果。

高級用法

你可以根據具體需求調整 hypothesis_template 參數，以獲得更符合需求的分類結果。

📚 詳細文檔

演示和教程

如果你想了解該模型的實際應用，我們使用 Rubrix 創建了一個基礎教程。Rubrix 是一個免費的開源工具，用於 探索、註釋和監控NLP數據。

該教程將向你展示如何評估這個分類器在西班牙語新聞分類中的性能，以及如何使用它來構建一個訓練集，用於訓練有監督的分類器（如果你想獲得更精確的結果或隨著時間的推移改進模型，這可能會很有用）。

你可以 在此找到教程。

查看下面的視頻，展示了註釋過程中的預測結果（可以看到每個示例的預測結果幾乎都是正確的）。

指標

* 使用零樣本學習 (ZSL) 進行評估

• XNLI：所述準確率是指在 XNLI數據集 的測試部分上的準確率，模型在訓練部分進行了微調。
• MLSUM：對於此準確率，我們採用 MLSUM數據集 的測試集，並對5個選定標籤的摘要進行分類。有關詳細信息，請查看我們的 評估筆記本。

訓練

有關訓練的詳細信息，請查看我們的 訓練筆記本。

🔧 技術細節

本項目基於SELECTRA模型在XNLI數據集的西班牙語部分上進行微調，使用了Hugging Face的零樣本分類管道。通過在不同規模的模型上進行實驗，比較了不同模型在XNLI和MLSUM數據集上的性能。

📄 許可證

本項目採用 Apache-2.0 許可證。

👥 作者

• David Fidalgo (GitHub)
• Daniel Vila (GitHub)
• Francisco Aranda (GitHub)
• Javier Lopez (GitHub)