Xlm Roberta Base Multilingual Text Genre Classifier

🚀 X-GENRE分类器 - 多语言文本体裁分类器

X-GENRE分类器是一个基于xlm-roberta-base的文本分类模型，在多语言手动标注的X-GENRE体裁数据集上进行了微调。该模型可用于自动体裁识别，适用于xlm-roberta-base支持的任何语言文本。

🚀 快速开始

本模型基于xlm-roberta-base，并在多语言手动标注的X-GENRE体裁数据集上进行了微调。你可以将其用于自动体裁识别，只要文本语言是xlm-roberta-base支持的即可。

模型开发、数据集以及模型在数据集内、跨数据集和多语言方面的性能详情，可参考论文Automatic Genre Identification for Robust Enrichment of Massive Text Collections: Investigation of Classification Methods in the Era of Large Language Models (Kuzman et al., 2023)。

你也可以从CLARIN.SI仓库下载该模型。

如果你使用了该模型，请引用以下论文：

@article{kuzman2023automatic,
  title={Automatic Genre Identification for Robust Enrichment of Massive Text Collections: Investigation of Classification Methods in the Era of Large Language Models},
  author={Kuzman, Taja and Mozeti{\v{c}}, Igor and Ljube{\v{s}}i{\'c}, Nikola},
  journal={Machine Learning and Knowledge Extraction},
  volume={5},
  number={3},
  pages={1149--1175},
  year={2023},
  publisher={MDPI}
}

✨ 主要特性

• 多语言支持：支持多种语言的文本体裁分类。
• 高性能：在AGILE基准测试中，相较于其他技术（包括GPT模型）表现更优。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

from simpletransformers.classification import ClassificationModel
model_args= {
            "num_train_epochs": 15,
            "learning_rate": 1e-5,
            "max_seq_length": 512,
            "silent": True
            }
model = ClassificationModel(
    "xlmroberta", "classla/xlm-roberta-base-multilingual-text-genre-classifier", use_cuda=True,
    args=model_args
    
)
predictions, logit_output = model.predict(["How to create a good text classification model? First step is to prepare good data. Make sure not to skip the exploratory data analysis. Pre-process the text if necessary for the task. The next step is to perform hyperparameter search to find the optimum hyperparameters. After fine-tuning the model, you should look into the predictions and analyze the model's performance. You might want to perform the post-processing of data as well and keep only reliable predictions.", 
                                        "On our site, you can find a great genre identification model which you can use for thousands of different tasks. With our model, you can fastly and reliably obtain high-quality genre predictions and explore which genres exist in your corpora. Available for free!"]
                                        )
predictions
# Output: array([3, 8])

[model.config.id2label[i] for i in predictions]
# Output: ['Instruction', 'Promotion']

高级用法

使用批量处理在数据集上进行预测的示例，可通过Google Collab查看。

📚 详细文档

AGILE - 自动体裁识别基准测试

我们设立了一个基准测试，用于评估自动体裁识别模型的鲁棒性，以测试其在为大型文本集合自动添加体裁信息方面的可用性。该基准测试涵盖11种欧洲语言和两个测试数据集。欢迎你在基准测试的GitHub仓库提交你的结果。

该模型在性能上优于所有其他技术，包括在零样本场景下使用的GPT模型。

以下是在英文测试数据集（EN - GINCO）上的结果：

以下是在多语言测试数据集（X - GINCO）上的结果，该数据集包含阿尔巴尼亚语、加泰罗尼亚语、克罗地亚语、希腊语、冰岛语、马其顿语、马耳他语、斯洛文尼亚语、土耳其语和乌克兰语的实例：

（多语言测试数据集比英文测试数据集更容易，因为模糊标签“Other”和预测置信度分数低于0.80的实例未包含在测试数据集中。）

如需查看特定语言的结果，请参考[AGILE基准测试](https://github.com/TajaKuzman/AGILE - Automatic - Genre - Identification - Benchmark)。

预期用途和限制

用法

关于为体裁识别准备数据以及结果后处理的示例，可参考[此处](https://github.com/TajaKuzman/Applying - GENRE - on - MaCoCu - bilingual)，我们在此将X - GENRE分类器应用于MaCoCu平行语料库的英文部分。

为获得可靠结果，体裁分类器应应用于足够长度的文档（经验法则是至少75个单词）。建议不要使用置信度高于0.9的预测结果。此外，标签“Other”可作为预测低置信度的另一个指标，因为它通常表明文本没有任何体裁的足够特征，这些预测结果也可舍弃。

经过建议的后处理（去除低置信度预测、标签“Other”，在这种特定情况下还去除标签“Forum”）后，基于手动检查，在MaCoCu数据上的性能达到宏F1和微F1值为0.92。

X - GENRE类别

标签列表

labels_list=['Other', 'Information/Explanation', 'News', 'Instruction', 'Opinion/Argumentation', 'Forum', 'Prose/Lyrical', 'Legal', 'Promotion'],

labels_map={'Other': 0, 'Information/Explanation': 1, 'News': 2, 'Instruction': 3, 'Opinion/Argumentation': 4, 'Forum': 5, 'Prose/Lyrical': 6, 'Legal': 7, 'Promotion': 8}

标签描述

微调超参数

使用simpletransformers进行微调。事先进行了简要的超参数优化，推测的最优超参数如下：

model_args= {
            "num_train_epochs": 15,
            "learning_rate": 1e-5,
            "max_seq_length": 512,
            "silent": True
            }

🔧 技术细节

文档未提及技术实现细节，故跳过此章节。

📄 许可证

本模型采用CC - BY - SA 4.0许可证。

相关信息表格

常用提示信息

⚠️ 重要提示

为获得可靠结果，体裁分类器应应用于足够长度的文档（经验法则是至少75个单词）。建议不要使用置信度高于0.9的预测结果。此外，标签“Other”可作为预测低置信度的另一个指标，因为它通常表明文本没有任何体裁的足够特征，这些预测结果也可舍弃。

💡 使用建议

关于为体裁识别准备数据以及结果后处理的示例，可参考[此处](https://github.com/TajaKuzman/Applying - GENRE - on - MaCoCu - bilingual)，我们在此将X - GENRE分类器应用于MaCoCu平行语料库的英文部分。