Multilingual IPTC News Topic Classifier

🚀 多語言IPTC媒體主題分類器

本模型基於[xlm - roberta - large](https://huggingface.co/FacebookAI/xlm - roberta - large)，是一個新聞主題分類模型。它在四種語言的新聞語料庫（克羅地亞語、斯洛文尼亞語、加泰羅尼亞語和希臘語）上進行了微調，並使用[頂級IPTC媒體主題新聞代碼標籤](https://www.iptc.org/std/NewsCodes/treeview/mediatopic/mediatopic - en - GB.html)進行標註。該模型的開發和評估在論文《無人工標註數據的文本分類大語言模型師生框架：IPTC新聞主題分類案例研究》（Kuzman和Ljubešić，2025年）中有詳細描述。

該模型可用於根據IPTC新聞代碼模式對主題標籤進行分類，並且可以應用於xlm - roberta - large支持的任何語言的新聞文本。

基於手動標註的測試集（克羅地亞語、斯洛文尼亞語、加泰羅尼亞語和希臘語），該模型的宏F1分數達到0.746，微F1分數達到0.734，準確率達到0.734，並且優於零樣本設置下使用的GPT - 4o模型（版本gpt - 4o - 2024 - 05 - 13）。如果僅使用置信度分數等於或高於0.90的預測標籤，該模型的微F1和宏F1分數可達到0.80。

🚀 快速開始

預期用途和限制

為了獲得可靠的結果，分類器應應用於足夠長度的文檔（經驗法則是至少75個單詞）。

使用示例

from transformers import pipeline

# 加載多類分類管道 - 如果模型在CPU上運行，請註釋掉 "device"
classifier = pipeline("text - classification", model="classla/multilingual - IPTC - news - topic - classifier", device=0, max_length=512, truncation=True)

# 待分類的示例文本
texts = [
    """斯洛文尼亞手球隊晉級巴黎奧運會半決賽 里爾，8月8日 - 週三晚，在里爾舉行的奧運會男子手球錦標賽中，斯洛文尼亞隊以33:28擊敗挪威隊，晉級半決賽，他們將於週五晚上對陣丹麥隊。這是該隊在奧運會上迄今為止取得的最好成績，也是斯洛文尼亞團體運動史上最好的表現之一。""",
    """狗狗啃咬移動電源引發房屋火災 室內監控攝像頭記錄下了一隻狗狗在啃咬便攜式鋰離子電池移動電源後意外引發房屋火災的瞬間。俄克拉荷馬州塔爾薩消防局發佈的視頻顯示，在火花引發火災並在幾分鐘內蔓延之前，客廳裡可以看到兩隻狗和一隻貓。塔爾薩消防局公共信息官安迪·利特爾表示，寵物們通過狗門逃脫，據當地媒體報道，這家人也安全撤離。“如果沒有狗門，它們很可能會喪命，”他告訴CBS附屬電視臺KOTV。"""
]

# 對文本進行分類
results = classifier(texts)

# 輸出結果
for result in results:
    print(result)

## 輸出
## {'label': 'sport', 'score': 0.9985264539718628}
## {'label': 'disaster, accident and emergency incident', 'score': 0.9957459568977356}

✨ 主要特性

• 多語言支持：支持xlm - roberta - large支持的多種語言。
• 基於IPTC標準：使用頂級IPTC媒體主題新聞代碼標籤進行分類。
• 性能優異：在手動標註的測試集上取得了較好的微F1、宏F1分數和準確率。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

from transformers import pipeline

# 加載多類分類管道 - 如果模型在CPU上運行，請註釋掉 "device"
classifier = pipeline("text - classification", model="classla/multilingual - IPTC - news - topic - classifier", device=0, max_length=512, truncation=True)

# 待分類的示例文本
texts = [
    """斯洛文尼亞手球隊晉級巴黎奧運會半決賽 里爾，8月8日 - 週三晚，在里爾舉行的奧運會男子手球錦標賽中，斯洛文尼亞隊以33:28擊敗挪威隊，晉級半決賽，他們將於週五晚上對陣丹麥隊。這是該隊在奧運會上迄今為止取得的最好成績，也是斯洛文尼亞團體運動史上最好的表現之一。""",
    """狗狗啃咬移動電源引發房屋火災 室內監控攝像頭記錄下了一隻狗狗在啃咬便攜式鋰離子電池移動電源後意外引發房屋火災的瞬間。俄克拉荷馬州塔爾薩消防局發佈的視頻顯示，在火花引發火災並在幾分鐘內蔓延之前，客廳裡可以看到兩隻狗和一隻貓。塔爾薩消防局公共信息官安迪·利特爾表示，寵物們通過狗門逃脫，據當地媒體報道，這家人也安全撤離。“如果沒有狗門，它們很可能會喪命，”他告訴CBS附屬電視臺KOTV。"""
]

# 對文本進行分類
results = classifier(texts)

# 輸出結果
for result in results:
    print(result)

## 輸出
## {'label': 'sport', 'score': 0.9985264539718628}
## {'label': 'disaster, accident and emergency incident', 'score': 0.9957459568977356}

高級用法

文檔未提及高級用法相關代碼，故跳過此部分。

📚 詳細文檔

IPTC媒體主題類別

標籤列表

labels_list=['education', 'human interest', 'society', 'sport', 'crime, law and justice',
'disaster, accident and emergency incident', 'arts, culture, entertainment and media', 'politics',
'economy, business and finance', 'lifestyle and leisure', 'science and technology',
'health', 'labour', 'religion', 'weather', 'environment', 'conflict, war and peace'],

labels_map={0: 'education', 1: 'human interest', 2: 'society', 3: 'sport', 4: 'crime, law and justice',
5: 'disaster, accident and emergency incident', 6: 'arts, culture, entertainment and media',
7: 'politics', 8: 'economy, business and finance', 9: 'lifestyle and leisure', 10: 'science and technology',
11: 'health', 12: 'labour', 13: 'religion', 14: 'weather', 15: 'environment', 16: 'conflict, war and peace'}

標籤描述

訓練數據

該模型在EMMediaTopic 1.0數據集的訓練集上進行了微調，該數據集包含四種語言（克羅地亞語、斯洛文尼亞語、加泰羅尼亞語和希臘語）的15,000條新聞。新聞文本是從MaCoCu - Genre網絡語料庫中基於“新聞”體裁標籤提取的，這些標籤是由[X - GENRE分類器](https://huggingface.co/classla/xlm - roberta - base - multilingual - text - genre - classifier)預測的。訓練數據集由[GPT - 4o](https://platform.openai.com/docs/models/gpt - 4o)模型自動標註了IPTC媒體主題標籤（在測試數據集上產生了0.72的微F1和0.73的宏F1分數）。

模型開發和評估的代碼可在[這個GitHub倉庫](https://github.com/TajaKuzman/IPTC - Media - Topic - Classification)中找到。

訓練數據集中的標籤分佈：

性能

該模型在四種語言（克羅地亞語、斯洛文尼亞語、加泰羅尼亞語和希臘語）的手動標註測試集上進行了評估，該測試集包含1,129個實例。測試集包含來自四種語言的大致相同數量的文本，並且在標籤上或多或少是平衡的。

該模型的微F1分數達到0.734，宏F1分數達到0.746。整個測試集和每種語言的結果如下：

每個標籤的性能：

對於下游任務，我們建議您僅使用置信度分數高於或等於0.90的預測標籤，這將進一步提高性能。

當我們去除置信度較低的預測實例（229個實例 - 20%）時，模型的微F1分數達到0.798，宏F1分數達到0.80。

微調超參數

使用simpletransformers進行微調。事先進行了簡短的超參數優化，推測的最佳超參數如下：

model_args = ClassificationArgs()

model_args ={
             "num_train_epochs": 5,
             "learning_rate": 8e - 06,
             "train_batch_size": 32,
             "max_seq_length": 512,
             }   

引用

如果您使用該模型，請引用這篇論文：

@ARTICLE{10900365,
  author={Kuzman, Taja and Ljubešić, Nikola},
  journal={IEEE Access}, 
  title={LLM Teacher - Student Framework for Text Classification With No Manually Annotated Data: A Case Study in IPTC News Topic Classification}, 
  year={2025},
  volume={},
  number={},
  pages={1 - 1},
  keywords={Data models;Annotations;Media;Manuals;Multilingual;Computational modeling;Training;Training data;Transformers;Text categorization;Multilingual text classification;IPTC;large language models;LLMs;news topic;topic classification;training data preparation;data annotation},
  doi={10.1109/ACCESS.2025.3544814}}

資金支持

這項工作得到了斯洛文尼亞研究與創新局研究項目[基於嵌入的媒體監測應用技術](https://emma.ijs.si/en/about - project/)（L2 - 50070，由Kliping d.o.o.機構共同資助）的支持。

許可證

本項目採用CC - BY - SA 4.0許可證。