Multilingual IPTC News Topic Classifier

🚀 多语言IPTC媒体主题分类器

本模型基于[xlm - roberta - large](https://huggingface.co/FacebookAI/xlm - roberta - large)，是一个新闻主题分类模型。它在四种语言的新闻语料库（克罗地亚语、斯洛文尼亚语、加泰罗尼亚语和希腊语）上进行了微调，并使用[顶级IPTC媒体主题新闻代码标签](https://www.iptc.org/std/NewsCodes/treeview/mediatopic/mediatopic - en - GB.html)进行标注。该模型的开发和评估在论文《无人工标注数据的文本分类大语言模型师生框架：IPTC新闻主题分类案例研究》（Kuzman和Ljubešić，2025年）中有详细描述。

该模型可用于根据IPTC新闻代码模式对主题标签进行分类，并且可以应用于xlm - roberta - large支持的任何语言的新闻文本。

基于手动标注的测试集（克罗地亚语、斯洛文尼亚语、加泰罗尼亚语和希腊语），该模型的宏F1分数达到0.746，微F1分数达到0.734，准确率达到0.734，并且优于零样本设置下使用的GPT - 4o模型（版本gpt - 4o - 2024 - 05 - 13）。如果仅使用置信度分数等于或高于0.90的预测标签，该模型的微F1和宏F1分数可达到0.80。

🚀 快速开始

预期用途和限制

为了获得可靠的结果，分类器应应用于足够长度的文档（经验法则是至少75个单词）。

使用示例

from transformers import pipeline

# 加载多类分类管道 - 如果模型在CPU上运行，请注释掉 "device"
classifier = pipeline("text - classification", model="classla/multilingual - IPTC - news - topic - classifier", device=0, max_length=512, truncation=True)

# 待分类的示例文本
texts = [
    """斯洛文尼亚手球队晋级巴黎奥运会半决赛 里尔，8月8日 - 周三晚，在里尔举行的奥运会男子手球锦标赛中，斯洛文尼亚队以33:28击败挪威队，晋级半决赛，他们将于周五晚上对阵丹麦队。这是该队在奥运会上迄今为止取得的最好成绩，也是斯洛文尼亚团体运动史上最好的表现之一。""",
    """狗狗啃咬移动电源引发房屋火灾 室内监控摄像头记录下了一只狗狗在啃咬便携式锂离子电池移动电源后意外引发房屋火灾的瞬间。俄克拉荷马州塔尔萨消防局发布的视频显示，在火花引发火灾并在几分钟内蔓延之前，客厅里可以看到两只狗和一只猫。塔尔萨消防局公共信息官安迪·利特尔表示，宠物们通过狗门逃脱，据当地媒体报道，这家人也安全撤离。“如果没有狗门，它们很可能会丧命，”他告诉CBS附属电视台KOTV。"""
]

# 对文本进行分类
results = classifier(texts)

# 输出结果
for result in results:
    print(result)

## 输出
## {'label': 'sport', 'score': 0.9985264539718628}
## {'label': 'disaster, accident and emergency incident', 'score': 0.9957459568977356}

✨ 主要特性

• 多语言支持：支持xlm - roberta - large支持的多种语言。
• 基于IPTC标准：使用顶级IPTC媒体主题新闻代码标签进行分类。
• 性能优异：在手动标注的测试集上取得了较好的微F1、宏F1分数和准确率。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

from transformers import pipeline

# 加载多类分类管道 - 如果模型在CPU上运行，请注释掉 "device"
classifier = pipeline("text - classification", model="classla/multilingual - IPTC - news - topic - classifier", device=0, max_length=512, truncation=True)

# 待分类的示例文本
texts = [
    """斯洛文尼亚手球队晋级巴黎奥运会半决赛 里尔，8月8日 - 周三晚，在里尔举行的奥运会男子手球锦标赛中，斯洛文尼亚队以33:28击败挪威队，晋级半决赛，他们将于周五晚上对阵丹麦队。这是该队在奥运会上迄今为止取得的最好成绩，也是斯洛文尼亚团体运动史上最好的表现之一。""",
    """狗狗啃咬移动电源引发房屋火灾 室内监控摄像头记录下了一只狗狗在啃咬便携式锂离子电池移动电源后意外引发房屋火灾的瞬间。俄克拉荷马州塔尔萨消防局发布的视频显示，在火花引发火灾并在几分钟内蔓延之前，客厅里可以看到两只狗和一只猫。塔尔萨消防局公共信息官安迪·利特尔表示，宠物们通过狗门逃脱，据当地媒体报道，这家人也安全撤离。“如果没有狗门，它们很可能会丧命，”他告诉CBS附属电视台KOTV。"""
]

# 对文本进行分类
results = classifier(texts)

# 输出结果
for result in results:
    print(result)

## 输出
## {'label': 'sport', 'score': 0.9985264539718628}
## {'label': 'disaster, accident and emergency incident', 'score': 0.9957459568977356}

高级用法

文档未提及高级用法相关代码，故跳过此部分。

📚 详细文档

IPTC媒体主题类别

标签列表

labels_list=['education', 'human interest', 'society', 'sport', 'crime, law and justice',
'disaster, accident and emergency incident', 'arts, culture, entertainment and media', 'politics',
'economy, business and finance', 'lifestyle and leisure', 'science and technology',
'health', 'labour', 'religion', 'weather', 'environment', 'conflict, war and peace'],

labels_map={0: 'education', 1: 'human interest', 2: 'society', 3: 'sport', 4: 'crime, law and justice',
5: 'disaster, accident and emergency incident', 6: 'arts, culture, entertainment and media',
7: 'politics', 8: 'economy, business and finance', 9: 'lifestyle and leisure', 10: 'science and technology',
11: 'health', 12: 'labour', 13: 'religion', 14: 'weather', 15: 'environment', 16: 'conflict, war and peace'}

标签描述

训练数据

该模型在EMMediaTopic 1.0数据集的训练集上进行了微调，该数据集包含四种语言（克罗地亚语、斯洛文尼亚语、加泰罗尼亚语和希腊语）的15,000条新闻。新闻文本是从MaCoCu - Genre网络语料库中基于“新闻”体裁标签提取的，这些标签是由[X - GENRE分类器](https://huggingface.co/classla/xlm - roberta - base - multilingual - text - genre - classifier)预测的。训练数据集由[GPT - 4o](https://platform.openai.com/docs/models/gpt - 4o)模型自动标注了IPTC媒体主题标签（在测试数据集上产生了0.72的微F1和0.73的宏F1分数）。

模型开发和评估的代码可在[这个GitHub仓库](https://github.com/TajaKuzman/IPTC - Media - Topic - Classification)中找到。

训练数据集中的标签分布：

性能

该模型在四种语言（克罗地亚语、斯洛文尼亚语、加泰罗尼亚语和希腊语）的手动标注测试集上进行了评估，该测试集包含1,129个实例。测试集包含来自四种语言的大致相同数量的文本，并且在标签上或多或少是平衡的。

该模型的微F1分数达到0.734，宏F1分数达到0.746。整个测试集和每种语言的结果如下：

每个标签的性能：

对于下游任务，我们建议您仅使用置信度分数高于或等于0.90的预测标签，这将进一步提高性能。

当我们去除置信度较低的预测实例（229个实例 - 20%）时，模型的微F1分数达到0.798，宏F1分数达到0.80。

微调超参数

使用simpletransformers进行微调。事先进行了简短的超参数优化，推测的最佳超参数如下：

model_args = ClassificationArgs()

model_args ={
             "num_train_epochs": 5,
             "learning_rate": 8e - 06,
             "train_batch_size": 32,
             "max_seq_length": 512,
             }   

引用

如果您使用该模型，请引用这篇论文：

@ARTICLE{10900365,
  author={Kuzman, Taja and Ljubešić, Nikola},
  journal={IEEE Access}, 
  title={LLM Teacher - Student Framework for Text Classification With No Manually Annotated Data: A Case Study in IPTC News Topic Classification}, 
  year={2025},
  volume={},
  number={},
  pages={1 - 1},
  keywords={Data models;Annotations;Media;Manuals;Multilingual;Computational modeling;Training;Training data;Transformers;Text categorization;Multilingual text classification;IPTC;large language models;LLMs;news topic;topic classification;training data preparation;data annotation},
  doi={10.1109/ACCESS.2025.3544814}}

资金支持

这项工作得到了斯洛文尼亚研究与创新局研究项目[基于嵌入的媒体监测应用技术](https://emma.ijs.si/en/about - project/)（L2 - 50070，由Kliping d.o.o.机构共同资助）的支持。

许可证

本项目采用CC - BY - SA 4.0许可证。