Roberta Large Semeval2012 V2 Mask Prompt E Nce

🚀 relbert/roberta-large-semeval2012-v2-mask-prompt-e-nce

RelBERT是在roberta-large基礎上進行微調的模型，微調數據集為relbert/semeval2012_relational_similarity_v2。微調過程藉助RelBERT庫完成（更多細節請參考該倉庫）。該模型在關係理解任務上取得了如下成果：

🚀 快速開始

本模型可通過relbert庫使用。首先，通過pip安裝該庫：

pip install relbert

然後，按如下方式激活模型：

from relbert import RelBERT
model = RelBERT("relbert/roberta-large-semeval2012-v2-mask-prompt-e-nce")
vector = model.get_embedding(['Tokyo', 'Japan'])  # shape of (1024, )

✨ 主要特性

該模型在多個關係理解任務中表現出色，包括類比問題、詞彙關係分類和關係映射等。以下是具體的評估結果：

📦 安裝指南

使用該模型前，需安裝relbert庫，安裝命令如下：

pip install relbert

💻 使用示例

基礎用法

from relbert import RelBERT
model = RelBERT("relbert/roberta-large-semeval2012-v2-mask-prompt-e-nce")
vector = model.get_embedding(['Tokyo', 'Japan'])  # shape of (1024, )

🔧 技術細節

訓練超參數

訓練過程中使用了以下超參數：

• 模型：roberta-large
• 最大長度：64
• 模式：mask
• 數據：relbert/semeval2012_relational_similarity_v2
• 模板模式：manual
• 模板：I wasn’t aware of this relationship, but I just read in the encyclopedia that is ’s
• 損失函數：nce_logout
• 溫度常數（nce）：0.05
• 溫度排名（nce）：{'min': 0.01, 'max': 0.05, 'type': 'linear'}
• 訓練輪數：29
• 批次大小：128
• 學習率：5e-06
• 學習率衰減：False
• 學習率預熱：1
• 權重衰減：0
• 隨機種子：0
• 排除關係：None
• 樣本數量：640
• 梯度累積：8

完整配置可在微調參數文件中查看。

📄 許可證

文檔中未提及許可證相關信息。

📚 詳細文檔

參考引用

如果您使用了RelBERT的任何資源，請考慮引用我們的論文。

@inproceedings{ushio-etal-2021-distilling-relation-embeddings,
    title = "{D}istilling {R}elation {E}mbeddings from {P}re-trained {L}anguage {M}odels",
    author = "Ushio, Asahi  and
      Schockaert, Steven  and
      Camacho-Collados, Jose",
    booktitle = "EMNLP 2021",
    year = "2021",
    address = "Online",
    publisher = "Association for Computational Linguistics",
}