Multilingual Cpv Sector Classifier

🚀 多語言通用採購詞彙（CPV）行業分類器

本模型是基於 bert-base-multilingual-cased 在 Tenders Economic Daily 公共採購數據 上進行微調的版本。它在評估集上取得了以下成績：

• F1 分數：0.686

🚀 快速開始

本模型可直接用於對採購描述進行分類，輸入為支持的 104 種語言的採購描述，輸出為對應的 CPV 行業分類。

✨ 主要特性

• 多語言支持：能夠處理 104 種語言 編寫的採購描述。
• 行業分類細緻：將採購描述分類為 45 個由 CPV（通用採購詞彙） 代碼描述代表的行業類別。

📚 詳細文檔

模型描述

該模型接收用 104 種語言 編寫的採購描述，並將其分類為以下列出的由 CPV（通用採購詞彙） 代碼描述代表的 45 個行業類別。

預期用途和限制

⚠️ 重要提示

• 輸入描述應使用 MBERT 支持的 104 種語言 編寫。
• 該模型僅在 22 種語言上進行了評估，因此沒有關於其他語言性能的信息。
• 該模型的適用領域也受到歐盟授予的採購通知描述的限制，對完整文檔文本進行評估可能會改變性能。

訓練和評估數據

• 整個數據集由 744,360 行組成，採用 80%/20% 的比例隨機劃分為訓練集和驗證集。
• 每個描述代表 2011 年至 2018 年期間授予的唯一合同通知描述。
• 訓練數據和驗證數據都包含用 22 種歐洲語言編寫的合同通知描述。（由於與整體數據相比數量稀少，馬耳他語和愛爾蘭語被剔除）

訓練過程

訓練過程在 Google Cloud V3 - 8 TPUs 上完成。感謝 Google 提供對 Cloud TPUs 的訪問權限。

訓練超參數

訓練期間使用了以下超參數：

• 學習率：2e - 05
• 訓練輪數：3
• 梯度累積步數：8
• 每個設備的批量大小：4
• 總訓練批量大小：32

訓練結果

📄 許可證

本項目採用 Apache - 2.0 許可證。