Roberta Large Conceptnet Mask Prompt E Nce

🚀 relbert/roberta-large-conceptnet-mask-prompt-e-nce

RelBERTは、roberta-large を relbert/conceptnet_high_confidence でファインチューニングしたモデルです。 ファインチューニングは RelBERT ライブラリを使用して行われています（詳細はリポジトリを参照）。 このモデルは、関係理解タスクで以下の結果を達成しています。

🚀 クイックスタート

RelBERTは、roberta-large を relbert/conceptnet_high_confidence データセットでファインチューニングしています。ファインチューニングには RelBERT ライブラリを使用しています。関係理解タスクで以下のような結果を達成しています。

✨ 主な機能

このモデルは、関係理解タスクにおいて高い性能を発揮します。類推問題や語彙関係分類などのタスクで良好な結果を得ています。

📦 インストール

このモデルは relbert ライブラリ を通じて使用できます。ライブラリはpipでインストールできます。

pip install relbert

💻 使用例

基本的な使用法

from relbert import RelBERT
model = RelBERT("relbert/roberta-large-conceptnet-mask-prompt-e-nce")
vector = model.get_embedding(['Tokyo', 'Japan'])  # shape of (1024, )

📚 ドキュメント

学習ハイパーパラメータ

学習時に使用されたハイパーパラメータは以下の通りです。

完全な設定は ファインチューニングパラメータファイル で確認できます。

参照

RelBERTのリソースを使用する場合は、以下の 論文 を引用してください。

@inproceedings{ushio-etal-2021-distilling-relation-embeddings,
    title = "{D}istilling {R}elation {E}mbeddings from {P}re-trained {L}anguage {M}odels",
    author = "Ushio, Asahi  and
      Schockaert, Steven  and
      Camacho-Collados, Jose",
    booktitle = "EMNLP 2021",
    year = "2021",
    address = "Online",
    publisher = "Association for Computational Linguistics",
}