Srl En Xlmr Base

🚀 XLM-R基礎模型在英文語義角色標註上的微調

本模型基於xlm-roberta-base，在英文CoNLL格式的OntoNotes v5.0語義角色標註數據上進行了微調。該項目還產出了一系列相關模型，為語義角色標註任務提供了多樣化的解決方案。

🚀 快速開始

模型使用

若要使用此模型的transformers部分，可參考以下代碼：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("liaad/srl-en_xlmr-base")
model = AutoModel.from_pretrained("liaad/srl-en_xlmr-base")

若要使用完整的SRL模型（transformers部分 + 解碼層），請參考項目的GitHub倉庫。

✨ 主要特性

• 多語言支持：支持多種語言，包括葡萄牙語和英語。
• 微調優化：基於xlm-roberta-base在英文語義角色標註數據上進行微調，提升了模型在特定任務上的性能。

📦 安裝指南

文檔未提及具體安裝步驟，可參考項目的GitHub倉庫獲取詳細信息。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("liaad/srl-en_xlmr-base")
model = AutoModel.from_pretrained("liaad/srl-en_xlmr-base")

📚 詳細文檔

預期用途與限制

使用方法

使用模型的transformers部分代碼如下：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("liaad/srl-en_xlmr-base")
model = AutoModel.from_pretrained("liaad/srl-en_xlmr-base")

若要使用完整的SRL模型（transformers部分 + 解碼層），請參考項目的GitHub。

限制與偏差

• Tensorflow版本缺失：由於模型中的"type_vocab_size"從1更改為2，無法輕鬆轉換為Tensorflow版本。
• 訓練輪數有限：模型僅訓練了5個輪次。
• 數據差異：英文數據經過預處理以匹配葡萄牙語數據，因此在角色歸因上存在一些差異，部分角色從數據中移除。

訓練過程

模型在CoNLL - 2012數據集上進行訓練，該數據集經過預處理以匹配葡萄牙語的PropBank.Br數據。模型在PropBank.Br數據集以及較小的意見數據集"Buscapé"上進行了測試。更多信息請參考附帶文章（見下面的BibTeX條目和引用信息）和項目的GitHub。

評估結果

BibTeX引用

@misc{oliveira2021transformers,
      title={Transformers and Transfer Learning for Improving Portuguese Semantic Role Labeling}, 
      author={Sofia Oliveira and Daniel Loureiro and Alípio Jorge},
      year={2021},
      eprint={2101.01213},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

本項目採用Apache - 2.0許可證。