Roberta Large Semeval2012 V2 Mask Prompt E Nce

🚀 relbert/roberta-large-semeval2012-v2-mask-prompt-e-nce

RelBERT是在roberta-large基础上进行微调的模型，微调数据集为relbert/semeval2012_relational_similarity_v2。微调过程借助RelBERT库完成（更多细节请参考该仓库）。该模型在关系理解任务上取得了如下成果：

🚀 快速开始

本模型可通过relbert库使用。首先，通过pip安装该库：

pip install relbert

然后，按如下方式激活模型：

from relbert import RelBERT
model = RelBERT("relbert/roberta-large-semeval2012-v2-mask-prompt-e-nce")
vector = model.get_embedding(['Tokyo', 'Japan'])  # shape of (1024, )

✨ 主要特性

该模型在多个关系理解任务中表现出色，包括类比问题、词汇关系分类和关系映射等。以下是具体的评估结果：

📦 安装指南

使用该模型前，需安装relbert库，安装命令如下：

pip install relbert

💻 使用示例

基础用法

from relbert import RelBERT
model = RelBERT("relbert/roberta-large-semeval2012-v2-mask-prompt-e-nce")
vector = model.get_embedding(['Tokyo', 'Japan'])  # shape of (1024, )

🔧 技术细节

训练超参数

训练过程中使用了以下超参数：

• 模型：roberta-large
• 最大长度：64
• 模式：mask
• 数据：relbert/semeval2012_relational_similarity_v2
• 模板模式：manual
• 模板：I wasn’t aware of this relationship, but I just read in the encyclopedia that is ’s
• 损失函数：nce_logout
• 温度常数（nce）：0.05
• 温度排名（nce）：{'min': 0.01, 'max': 0.05, 'type': 'linear'}
• 训练轮数：29
• 批次大小：128
• 学习率：5e-06
• 学习率衰减：False
• 学习率预热：1
• 权重衰减：0
• 随机种子：0
• 排除关系：None
• 样本数量：640
• 梯度累积：8

完整配置可在微调参数文件中查看。

📄 许可证

文档中未提及许可证相关信息。

📚 详细文档

参考引用

如果您使用了RelBERT的任何资源，请考虑引用我们的论文。

@inproceedings{ushio-etal-2021-distilling-relation-embeddings,
    title = "{D}istilling {R}elation {E}mbeddings from {P}re-trained {L}anguage {M}odels",
    author = "Ushio, Asahi  and
      Schockaert, Steven  and
      Camacho-Collados, Jose",
    booktitle = "EMNLP 2021",
    year = "2021",
    address = "Online",
    publisher = "Association for Computational Linguistics",
}