Roberta Large Semeval2012 V2 Mask Prompt E Nce

🚀 relbert/roberta-large-semeval2012-v2-mask-prompt-e-nce

RelBERTは、roberta-large をrelbert/semeval2012_relational_similarity_v2 データセットでファインチューニングしたモデルです。ファインチューニングにはRelBERT ライブラリを使用しています（詳細はリポジトリを参照）。このモデルは、関係理解タスクにおいて以下の結果を達成しています。

🚀 クイックスタート

このモデルは、関係理解タスクにおいて優れた性能を発揮します。以下に、使用方法や性能結果などの詳細を紹介します。

📦 インストール

このモデルは relbert ライブラリ を通じて使用できます。まずは、pip を使ってライブラリをインストールしましょう。

pip install relbert

💻 使用例

基本的な使用法

# モデルのインポートと初期化
from relbert import RelBERT
model = RelBERT("relbert/roberta-large-semeval2012-v2-mask-prompt-e-nce")
vector = model.get_embedding(['Tokyo', 'Japan'])  # shape of (1024, )

📚 ドキュメント

性能結果

このモデルは、以下の関係理解タスクで次のような結果を達成しています。

類推問題

• データセット、完全な結果
  • SAT (full) の正解率: 0.6096256684491979
  • SAT の正解率: 0.6112759643916914
  • BATS の正解率: 0.7576431350750417
  • U2 の正解率: 0.5964912280701754
  • U4 の正解率: 0.6087962962962963
  • Google の正解率: 0.878

語彙関係分類

• データセット、完全な結果
  • BLESS のマイクロ F1 スコア: 0.9264728039777008
  • CogALexV のマイクロ F1 スコア: 0.8720657276995305
  • EVALution のマイクロ F1 スコア: 0.7074756229685807
  • K&H+N のマイクロ F1 スコア: 0.9625095638867636
  • ROOT09 のマイクロ F1 スコア: 0.9022250078345346

関係マッピング

• データセット、完全な結果
  • 関係マッピングの正解率: 0.8457142857142858

学習ハイパーパラメータ

学習時に使用されたハイパーパラメータは以下の通りです。

完全な設定は ファインチューニングパラメータファイル で確認できます。

参考文献

もしRelBERTのリソースを使用する場合は、以下の論文を引用してください。

@inproceedings{ushio-etal-2021-distilling-relation-embeddings,
    title = "{D}istilling {R}elation {E}mbeddings from {P}re-trained {L}anguage {M}odels",
    author = "Ushio, Asahi  and
      Schockaert, Steven  and
      Camacho-Collados, Jose",
    booktitle = "EMNLP 2021",
    year = "2021",
    address = "Online",
    publisher = "Association for Computational Linguistics",
}