Arabic Xlm Xnli

🚀 XLM-ROBERTA-BASE-XNLI-AR

本模型主要用於阿拉伯語的零樣本文本分類任務，特別是在仇恨言論檢測領域。它基於多語言的XLM - Roberta基礎模型，在Twitter大規模語料上繼續預訓練，並在XNLI阿拉伯語訓練數據集上進行微調，在阿拉伯語及其他部分語言上展現出一定效果。

🚀 快速開始

使用以下代碼示例，你可以快速將該模型用於零樣本分類任務：

from transformers import pipeline
classifier = pipeline("zero-shot-classification",
                      model="morit/arabic_xlm_xnli")

✨ 主要特性

• 多語言基礎：基於在100種語言上預訓練的XLM - Roberta基礎模型，具備處理多種語言的能力。
• 領域聚焦：專注於阿拉伯語的零樣本文本分類，尤其適用於仇恨言論檢測。
• 微調優化：在XNLI阿拉伯語訓練數據集上進行微調，提升了在阿拉伯語任務上的性能。

📦 安裝指南

文檔未提及具體安裝步驟，可參考transformers庫的官方安裝說明進行安裝。

💻 使用示例

基礎用法

from transformers import pipeline
classifier = pipeline("zero-shot-classification",
                      model="morit/arabic_xlm_xnli")

高級用法

文檔未提供高級用法示例，你可以根據transformers庫的高級功能，如自定義參數、多批次處理等，對基礎代碼進行擴展。

📚 詳細文檔

模型描述

該模型採用XLM - Roberta基礎模型，並在多種語言的大規模Twitter語料上繼續預訓練。它的開發策略與Tweet Eval框架類似。此外，模型還在XNLI訓練數據集的阿拉伯語部分進行了微調。

預期用途

此模型旨在進行仇恨言論檢測領域的零樣本文本分類。由於它在阿拉伯語數據上進行了微調，因此主要聚焦於阿拉伯語。不過，由於基礎模型在100種不同語言上進行了預訓練，它在其他語言上也表現出了一定的有效性。具體語言列表可參考XLM Roberta論文。

訓練過程

該模型首先在100種語言的數據集上進行預訓練，然後按照原論文所述，在1.98億條多語言推文上繼續訓練。此外，它還在XNLI阿拉伯語訓練集上進行訓練，該數據集是MNLI數據集的機器翻譯版本。模型在XNLI訓練集上進行了5個輪次的訓練，並在每個輪次結束時在XNLI評估數據集上進行評估，以找到性能最佳的模型。最終選擇在評估集上準確率最高的模型。

• 學習率：2e - 5
• 批次大小：32
• 最大序列長度：128

使用GPU（NVIDIA GeForce RTX 3090）進行訓練，訓練時間為1小時47分鐘。

評估結果

在XNLI測試集上對性能最佳的模型進行評估，得到如下可比結果：

預測準確率 = 74.19 %

🔧 技術細節

• 預訓練：在100種語言的數據集上預訓練，接著在198M多語言推文中繼續訓練。
• 微調：在XNLI阿拉伯語訓練集上進行5個輪次的訓練，每個輪次結束時在XNLI評估集上評估。
• 超參數：學習率為2e - 5，批次大小為32，最大序列長度為128。
• 硬件：使用NVIDIA GeForce RTX 3090 GPU進行訓練，訓練時間為1小時47分鐘。

📄 許可證

本模型採用MIT許可證。