Filing Classification Xlmr

🚀 金融報告文件分類器模型卡片

本模型基於Hugging Face的AutoTrain訓練，可對金融報告文件進行多類別文本分類，能將輸入文本準確分類到37種預定義的文件類型中，在常見文件類型上表現出色。

🚀 快速開始

你可以通過Hugging Face的transformers庫使用此模型：

from transformers import pipeline

# 加載分類器管道（請替換為你在Hugging Face Hub上的實際模型倉庫ID）
model_repo_id = "FinancialReports/filing-classification-xlmr"
classifier = pipeline("text-classification", model=model_repo_id)

# 示例用法
filing_text = """
## ACME Corp Q4 Results

ACME Corporation today announced financial results for its fourth quarter ended December 31...
(Insert markdown filing text here)
"""

# 獲取前5個預測結果及其得分（置信度）
predictions = classifier(filing_text, top_k=5)
print(predictions)
# 預期輸出格式:
# [{'label': 'Quarterly Report', 'score': 0.98}, {'label': 'Earnings Release', 'score': 0.01}, ...]

# --- 獲取所有類別的概率 ---
# from transformers import AutoTokenizer, AutoModelForSequenceClassification
# import torch
#
# tokenizer = AutoTokenizer.from_pretrained(model_repo_id)
# model = AutoModelForSequenceClassification.from_pretrained(model_repo_id)
# inputs = tokenizer(filing_text, return_tensors="pt", truncation=True, padding=True, max_length=512)
# with torch.no_grad():
#     logits = model(**inputs).logits
# probabilities = torch.softmax(logits, dim=-1)[0] # 獲取第一個項目的概率
# results = [{"label": model.config.id2label[i], "score": prob.item()} for i, prob in enumerate(probabilities)]
# results.sort(key=lambda x: x["score"], reverse=True)
# print(results)

✨ 主要特性

• 多語言支持：支持英語和多種歐洲語言，基於XLM - RoBERTa基礎模型，適用於多語言金融文件分類。
• 高精度分類：在常見金融文件類型上表現出很高的準確率和加權F1分數，能有效對金融報告文件進行分類。
• 易於使用：可通過Hugging Face的transformers庫輕鬆調用，方便集成到各類應用中。

📦 安裝指南

文檔未提及安裝步驟，暫不展示。

💻 使用示例

基礎用法

from transformers import pipeline

# 加載分類器管道（請替換為你在Hugging Face Hub上的實際模型倉庫ID）
model_repo_id = "FinancialReports/filing-classification-xlmr"
classifier = pipeline("text-classification", model=model_repo_id)

# 示例用法
filing_text = """
## ACME Corp Q4 Results

ACME Corporation today announced financial results for its fourth quarter ended December 31...
(Insert markdown filing text here)
"""

# 獲取前5個預測結果及其得分（置信度）
predictions = classifier(filing_text, top_k=5)
print(predictions)

高級用法

# --- 獲取所有類別的概率 ---
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

tokenizer = AutoTokenizer.from_pretrained(model_repo_id)
model = AutoModelForSequenceClassification.from_pretrained(model_repo_id)
inputs = tokenizer(filing_text, return_tensors="pt", truncation=True, padding=True, max_length=512)
with torch.no_grad():
    logits = model(**inputs).logits
probabilities = torch.softmax(logits, dim=-1)[0] # 獲取第一個項目的概率
results = [{"label": model.config.id2label[i], "score": prob.item()} for i, prob in enumerate(probabilities)]
results.sort(key=lambda x: x["score"], reverse=True)
print(results)

📚 詳細文檔

模型詳情

• 模型名稱：FinancialReports/filing-classification-xlmr（基於AutoTrain項目和組織的假設倉庫ID）
• 描述：該模型是FacebookAI/xlm - roberta - large的微調版本，用於對金融報告文件進行多類別文本分類。它將輸入文本（預期為Markdown格式）分類到37個預定義的文件類型類別之一。
• 基礎模型：[FacebookAI/xlm - roberta - large](https://huggingface.co/FacebookAI/xlm - roberta - large)
• 開發者：FinancialReports (financialreports.eu)
• 模型版本：1.0
• 微調框架：Hugging Face AutoTrain

預期用途

• 主要用途：根據金融報告文件的文本內容，自動將其分類到37個類別之一（如年度報告、季度報告、董事交易等）。
• 主要用戶：金融分析師、數據提供商、監管合規團隊、與FinancialReports相關的研究人員。
• 非預期用途：該模型不適用於情感分析、命名實體識別或超出37種金融文件類型定義的分類任務。對於與訓練數據差異較大的文件類型，其性能無法保證。

訓練數據

• 數據集：該模型在約14,233份金融報告文件的組合數據集上進行了微調。
• 數據來源：
  • 約9,700份通過Labelbox進行自定義標註的文件，可能來自歐洲公司（可能是多語言的）。
  • 約4,500份來自美國EDGAR數據庫的文件（英語）。
• 預處理：在訓練前，文檔文本被轉換為Markdown格式。AutoTrain處理了訓練/驗證集的劃分（通常為80/20或90/10）。
• 標籤：數據集涵蓋37種不同的文件類型分類。由於數據來源的原因，存在類別不平衡的情況，某些文件類型比其他類型更常見。

訓練過程

• 框架：在Hugging Face Space中運行的Hugging Face AutoTrain UI。
• 硬件：Nvidia T4 GPU（小配置）。
• 基礎模型：FacebookAI/xlm - roberta - large
• 關鍵超參數（來自AutoTrain）：
  • 訓練輪數（Epochs）：3
  • 批次大小（Batch Size）：8
  • 學習率（Learning Rate）：5e - 5
  • 最大序列長度（Max Sequence Length）：512
  • 優化器（Optimizer）：AdamW
  • 調度器（Scheduler）：線性預熱
  • 混合精度（Mixed Precision）：fp16

評估結果

AutoTrain基於其內部驗證集劃分報告了以下指標：

解讀：該模型在整體準確率和加權F1分數上表現非常高，表明在數據集中最常見的文件類型上表現出色。然而，較低的宏F1分數（64.7%）揭示了一個關鍵限制：模型在處理不太常見（少數）的文件類型時存在較大困難。高整體準確率主要是由正確分類多數類別驅動的。由於訓練數據中固有的類別不平衡，模型在所有37個類別上的性能參差不齊。

侷限性和偏差

• 稀有類別的性能：如評估指標所示，模型正確識別不常見文件類型的能力明顯低於常見類型。用戶在依賴稀有類別的預測時應謹慎，並考慮使用置信度分數。
• 數據源偏差：訓練數據主要來自歐洲和美國。該模型在處理來自其他地理區域或使用XLM - RoBERTa或訓練數據中未充分代表的語言編寫的文件時，其性能未知且可能較低。
• Markdown格式：模型期望輸入文本為Markdown格式，與訓練數據類似。在純文本或其他格式上的性能可能會下降。
• 分佈外數據：該模型只能將文檔分類到其訓練的37種類型中，無法識別全新或意外的文件類型。
• 歧義性：一些文件可能在類別之間存在真正的歧義或邊界模糊，可能導致低置信度預測或錯誤分類。

引用信息

@misc{financialreports_filing_classifier_2025,
  author    = {FinancialReports},
  title     = {XLM-RoBERTa-Large Financial Filing Classifier},
  year      = {2025},
  publisher = {Hugging Face},
  journal   = {Hugging Face Model Hub},
  howpublished = {\url{[https://huggingface.co/FinancialReports/filing-classification-xlmr](https://www.google.com/search?q=https://huggingface.co/FinancialReports/filing-classification-xlmr)}} # Assumed URL
}

🔧 技術細節

文檔未提及技術實現細節，暫不展示。

📄 許可證

本模型使用Apache - 2.0許可證。