Bert Base Parsbert Peymaner Uncased

🚀 ParsBERT：基於Transformer的波斯語理解模型

ParsBERT是一個基於谷歌BERT架構的單語語言模型，其配置與BERT-Base相同。

介紹ParsBERT的論文：arXiv:2005.12515

所有模型（下游任務）均不區分大小寫，並使用全詞掩碼進行訓練。（即將推出，敬請關注）

🚀 快速開始

波斯語命名實體識別（NER）[ARMAN、PEYMA、ARMAN+PEYMA]

此任務旨在提取文本中的命名實體，如名稱，並使用適當的NER類別（如地點、組織等）進行標註。用於此任務的數據集包含以IOB格式標記的句子。在這種格式中，不屬於實體的標記被標記為”O”，”B”標記對應於對象的第一個單詞，”I”標記對應於同一實體的其餘術語。”B”和”I”標記後面都跟著一個連字符（或下劃線），然後是實體類別。因此，NER任務是一個多類標記分類問題，在輸入原始文本時對標記進行標註。波斯語NER主要使用兩個數據集，即ARMAN和PEYMA。在ParsBERT中，我們為這兩個數據集以及兩個數據集的組合都準備了NER。

PEYMA

PEYMA數據集包含7145個句子，總共302530個標記，其中41148個標記被標記為七個不同的類別。

1. 組織
2. 貨幣
3. 地點
4. 日期
5. 時間
6. 人物
7. 百分比

下載 你可以從這裡下載該數據集。

結果

以下表格總結了ParsBERT與其他模型和架構相比所獲得的F1分數。

💻 使用示例

基礎用法

你可以通過以下方式使用ParsBERT：

筆記本	描述
如何使用管道	通過transformers以簡單高效的方式在下游任務中使用最先進的模型

📄 許可證

本項目採用Apache 2.0許可證。

📚 詳細文檔

引用

如果您在研究中使用了ParsBERT，請在您的出版物中引用以下論文：

@article{ParsBERT,
    title={ParsBERT: Transformer-based Model for Persian Language Understanding},
    author={Mehrdad Farahani, Mohammad Gharachorloo, Marzieh Farahani, Mohammad Manthouri},
    journal={ArXiv},
    year={2020},
    volume={abs/2005.12515}
}

致謝

我們在此感謝Tensorflow研究雲（TFRC）計劃為我們提供必要的計算資源。我們也感謝Hooshvare研究小組在數據集收集和在線文本資源抓取方面提供的便利。

貢獻者

• Mehrdad Farahani：領英，推特，Github
• Mohammad Gharachorloo：領英，推特，Github
• Marzieh Farahani：領英，推特，Github
• Mohammad Manthouri：領英，推特，Github
• Hooshvare團隊：官方網站，領英，推特，Github，Instagram

特別感謝Sara Tabrizi設計了出色的海報。請在以下平臺關注她：領英，Behance，Instagram

版本發佈

版本v0.1（2019年5月29日）

這是我們ParsBERT NER的第一個版本！