Xlm Roberta Base Multilingual Text Genre Classifier

🚀 X-GENRE分類器 - 多語言文本體裁分類器

X-GENRE分類器是一個基於xlm-roberta-base的文本分類模型，在多語言手動標註的X-GENRE體裁數據集上進行了微調。該模型可用於自動體裁識別，適用於xlm-roberta-base支持的任何語言文本。

🚀 快速開始

本模型基於xlm-roberta-base，並在多語言手動標註的X-GENRE體裁數據集上進行了微調。你可以將其用於自動體裁識別，只要文本語言是xlm-roberta-base支持的即可。

模型開發、數據集以及模型在數據集內、跨數據集和多語言方面的性能詳情，可參考論文Automatic Genre Identification for Robust Enrichment of Massive Text Collections: Investigation of Classification Methods in the Era of Large Language Models (Kuzman et al., 2023)。

你也可以從CLARIN.SI倉庫下載該模型。

如果你使用了該模型，請引用以下論文：

@article{kuzman2023automatic,
  title={Automatic Genre Identification for Robust Enrichment of Massive Text Collections: Investigation of Classification Methods in the Era of Large Language Models},
  author={Kuzman, Taja and Mozeti{\v{c}}, Igor and Ljube{\v{s}}i{\'c}, Nikola},
  journal={Machine Learning and Knowledge Extraction},
  volume={5},
  number={3},
  pages={1149--1175},
  year={2023},
  publisher={MDPI}
}

✨ 主要特性

• 多語言支持：支持多種語言的文本體裁分類。
• 高性能：在AGILE基準測試中，相較於其他技術（包括GPT模型）表現更優。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

from simpletransformers.classification import ClassificationModel
model_args= {
            "num_train_epochs": 15,
            "learning_rate": 1e-5,
            "max_seq_length": 512,
            "silent": True
            }
model = ClassificationModel(
    "xlmroberta", "classla/xlm-roberta-base-multilingual-text-genre-classifier", use_cuda=True,
    args=model_args
    
)
predictions, logit_output = model.predict(["How to create a good text classification model? First step is to prepare good data. Make sure not to skip the exploratory data analysis. Pre-process the text if necessary for the task. The next step is to perform hyperparameter search to find the optimum hyperparameters. After fine-tuning the model, you should look into the predictions and analyze the model's performance. You might want to perform the post-processing of data as well and keep only reliable predictions.", 
                                        "On our site, you can find a great genre identification model which you can use for thousands of different tasks. With our model, you can fastly and reliably obtain high-quality genre predictions and explore which genres exist in your corpora. Available for free!"]
                                        )
predictions
# Output: array([3, 8])

[model.config.id2label[i] for i in predictions]
# Output: ['Instruction', 'Promotion']

高級用法

使用批量處理在數據集上進行預測的示例，可通過Google Collab查看。

📚 詳細文檔

AGILE - 自動體裁識別基準測試

我們設立了一個基準測試，用於評估自動體裁識別模型的魯棒性，以測試其在為大型文本集合自動添加體裁信息方面的可用性。該基準測試涵蓋11種歐洲語言和兩個測試數據集。歡迎你在基準測試的GitHub倉庫提交你的結果。

該模型在性能上優於所有其他技術，包括在零樣本場景下使用的GPT模型。

以下是在英文測試數據集（EN - GINCO）上的結果：

以下是在多語言測試數據集（X - GINCO）上的結果，該數據集包含阿爾巴尼亞語、加泰羅尼亞語、克羅地亞語、希臘語、冰島語、馬其頓語、馬耳他語、斯洛文尼亞語、土耳其語和烏克蘭語的實例：

（多語言測試數據集比英文測試數據集更容易，因為模糊標籤“Other”和預測置信度分數低於0.80的實例未包含在測試數據集中。）

如需查看特定語言的結果，請參考[AGILE基準測試](https://github.com/TajaKuzman/AGILE - Automatic - Genre - Identification - Benchmark)。

預期用途和限制

用法

關於為體裁識別準備數據以及結果後處理的示例，可參考[此處](https://github.com/TajaKuzman/Applying - GENRE - on - MaCoCu - bilingual)，我們在此將X - GENRE分類器應用於MaCoCu平行語料庫的英文部分。

為獲得可靠結果，體裁分類器應應用於足夠長度的文檔（經驗法則是至少75個單詞）。建議不要使用置信度高於0.9的預測結果。此外，標籤“Other”可作為預測低置信度的另一個指標，因為它通常表明文本沒有任何體裁的足夠特徵，這些預測結果也可捨棄。

經過建議的後處理（去除低置信度預測、標籤“Other”，在這種特定情況下還去除標籤“Forum”）後，基於手動檢查，在MaCoCu數據上的性能達到宏F1和微F1值為0.92。

X - GENRE類別

標籤列表

labels_list=['Other', 'Information/Explanation', 'News', 'Instruction', 'Opinion/Argumentation', 'Forum', 'Prose/Lyrical', 'Legal', 'Promotion'],

labels_map={'Other': 0, 'Information/Explanation': 1, 'News': 2, 'Instruction': 3, 'Opinion/Argumentation': 4, 'Forum': 5, 'Prose/Lyrical': 6, 'Legal': 7, 'Promotion': 8}

標籤描述

微調超參數

使用simpletransformers進行微調。事先進行了簡要的超參數優化，推測的最優超參數如下：

model_args= {
            "num_train_epochs": 15,
            "learning_rate": 1e-5,
            "max_seq_length": 512,
            "silent": True
            }

🔧 技術細節

文檔未提及技術實現細節，故跳過此章節。

📄 許可證

本模型採用CC - BY - SA 4.0許可證。

相關信息表格

常用提示信息

⚠️ 重要提示

為獲得可靠結果，體裁分類器應應用於足夠長度的文檔（經驗法則是至少75個單詞）。建議不要使用置信度高於0.9的預測結果。此外，標籤“Other”可作為預測低置信度的另一個指標，因為它通常表明文本沒有任何體裁的足夠特徵，這些預測結果也可捨棄。

💡 使用建議

關於為體裁識別準備數據以及結果後處理的示例，可參考[此處](https://github.com/TajaKuzman/Applying - GENRE - on - MaCoCu - bilingual)，我們在此將X - GENRE分類器應用於MaCoCu平行語料庫的英文部分。