Science Keyword Classification

🚀 科學關鍵詞分類模型

本項目對 INDUS 模型 進行了微調，用於對美國國家航空航天局（NASA）通用元數據存儲庫（CMR）中的科學關鍵詞進行分類。該項目旨在通過在極端多標籤分類環境中預測相關關鍵詞，提高地球觀測元數據的可訪問性和組織性。

🚀 快速開始

我們對 INDUS 模型 進行微調，以實現從 NASA 的通用元數據存儲庫（CMR）中對科學關鍵詞進行分類。項目目標是在極端多標籤分類場景下，通過預測相關關鍵詞，提升地球觀測元數據的可訪問性和組織性。

✨ 主要特性

• 極端多標籤分類：能夠處理大量潛在標籤（關鍵詞）的分類問題，並且可以應對標籤頻率不平衡的情況。
• 分層拆分：數據集基於 provider-id 進行拆分，以確保訓練集、驗證集和測試集之間的平衡表示。
• 性能提升：評估了不同聚焦參數（γ）的焦點損失，與交叉熵損失和之前的模型相比，在加權精度、召回率、F1 分數和 Jaccard 相似度方面有顯著提升。

📦 安裝指南

暫未提供相關安裝步驟。

💻 使用示例

基礎用法

在從模型獲得預測結果後，我們可以使用 model.config.id2label 字典將預測的標籤索引映射到它們的實際名稱。

# Example usage
predicted_indices = [0, 2, 5] # top 3
predicted_labels = [model.config.id2label[idx] for idx in predicted_indices]
print(predicted_labels)

📚 詳細文檔

模型概述

實驗

1. 基線模型（alpha-1.0.1）：使用交叉熵損失。
2. 實驗 2（alpha-1.1.1）：焦點損失，γ = 4。
3. 實驗 3（alpha-1.1.2）：焦點損失，γ = 2。
4. 最終模型（alpha-1.2.1）：焦點損失（γ = 2），採用分層拆分。

結果

具有焦點損失和分層採樣的模型（alpha-1.2.1）在精度、召回率、F1 分數和 Jaccard 相似度方面優於所有其他配置和之前的模型。可以在下面找到該模型在不同閾值下的加權指標。

請 在此處查看相關技術文檔。

參考文獻

• RoBERTa: arXiv
• 焦點損失: arXiv
• NASA CMR
• 之前的模型 API

📄 許可證

本項目採用 Apache-2.0 許可證。