オープンソースのsrl - en_mbert - baseモデル - 無料でのデプロイで英語の意味役割ラベリングタスクを支援

ホーム

Srl En Mbert Base

liaadによって開発

このモデルは、英語のCoNLL形式のOntoNotes v5.0意味役割付与データでファインチューニングされたbert-base-multilingual-casedモデルで、主に意味役割付与タスクに使用されます。

シーケンスラベリング複数言語対応オープンソースライセンス:Apache-2.0 #多言語SRL #英語意味役割付与 #BERTファインチューニング

ダウンロード数 93

リリース時間 : 3/2/2022

モデル概要

これは、英語の意味役割付与(SRL)タスク専用にファインチューニングされた多言語BERTモデルです。文中の述語とその関連する項を識別し、自然言語理解に構造化された情報を提供します。

モデル特徴

多言語ベース

bert-base-multilingual-casedモデルをベースにファインチューニングされており、多言語理解能力を有する

英語SRL専用

英語の意味役割付与タスクに特化して最適化されている

研究プロジェクト成果

研究プロジェクトの一環として開発され、他の複数のSRLモデルと共に公開されている

モデル能力

意味役割付与

自然言語理解

述語-項構造認識

使用事例

自然言語処理

意味役割分析

文中の述語とその項の関係を分析する

F1値63.07(PropBank.Br)

分野横断的意味分析

異なる分野のテキストで意味役割付与を行う

F1値58.56(Buscapéデータセット)

🚀 mBERTを英語の意味役割ラベリングでファインチューニングしたモデル

このモデルは、英語のCoNLL形式のOntoNotes v5.0意味役割ラベリングデータでファインチューニングされたbert-base-multilingual-casedです。これは、以下のモデルを生み出したプロジェクトの一部です。

詳細については、添付の記事（下記のBibTeXエントリと引用情報を参照）とプロジェクトのGitHubを参照してください。

🚀 クイックスタート

想定される用途と制限

使い方

このモデルのtransformers部分を使用するには、以下のコードを実行します。

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("liaad/srl-en_mbert-base")
model = AutoModel.from_pretrained("liaad/srl-en_mbert-base")

完全なSRLモデル（transformers部分 + デコード層）を使用するには、プロジェクトのGitHubを参照してください。

制限とバイアス

モデルは5エポックだけ学習されました。
英語のデータはポルトガル語のデータに合わせて前処理されているため、役割の割り当てにいくつかの違いがあり、一部の役割はデータから削除されています。

学習手順

このモデルは、ポルトガル語のPropBank.Brデータに合わせて前処理されたCoNLL-2012データセットで学習されました。PropBank.Brデータセットと、より小さな意見データセット「Buscapé」でテストされました。詳細については、添付の記事（下記のBibTeXエントリと引用情報を参照）とプロジェクトのGitHubを参照してください。

評価結果

モデル名	F₁ CV PropBank.Br (ドメイン内)	F₁ Buscapé (ドメイン外)
`srl-pt_bertimbau-base`	76.30	73.33
`srl-pt_bertimbau-large`	77.42	74.85
`srl-pt_xlmr-base`	75.22	72.82
`srl-pt_xlmr-large`	77.59	73.84
`srl-pt_mbert-base`	72.76	66.89
`srl-en_xlmr-base`	66.59	65.24
`srl-en_xlmr-large`	67.60	64.94
`srl-en_mbert-base`	63.07	58.56
`srl-enpt_xlmr-base`	76.50	73.74
`srl-enpt_xlmr-large`	78.22	74.55
`srl-enpt_mbert-base`	74.88	69.19
`ud_srl-pt_bertimbau-large`	77.53	74.49
`ud_srl-pt_xlmr-large`	77.69	74.91
`ud_srl-enpt_xlmr-large`	77.97	75.05

BibTeXエントリと引用情報

@misc{oliveira2021transformers,
      title={Transformers and Transfer Learning for Improving Portuguese Semantic Role Labeling}, 
      author={Sofia Oliveira and Daniel Loureiro and Alípio Jorge},
      year={2021},
      eprint={2101.01213},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}