Bert Base Parsbert Armanner Uncased

🚀 ParsBERT: ペルシャ語理解のためのTransformerベースのモデル

ParsBERTは、GoogleのBERTアーキテクチャに基づく単言語モデルで、BERT-Baseと同じ設定を持っています。

ParsBERTを紹介する論文: arXiv:2005.12515

すべてのモデル（下流タスク）は大文字小文字を区別せず、単語全体のマスキングで学習されています。（近日公開、お楽しみに）

🚀 クイックスタート

ParsBERTは、ペルシャ語の言語理解を目的としたTransformerベースのモデルです。以下では、ペルシャ語の固有表現抽出（NER）タスクにおけるParsBERTの詳細と結果について説明します。

✨ 主な機能

ペルシャ語固有表現抽出 (NER) [ARMAN, PEYMA, ARMAN+PEYMA]

このタスクは、テキスト内の固有表現（名前など）を抽出し、場所や組織などの適切なNERクラスでラベル付けすることを目的としています。このタスクに使用されるデータセットは、IOB形式でマークされた文を含んでいます。この形式では、エンティティの一部ではないトークンは”O”とタグ付けされ、”B”タグはオブジェクトの最初の単語に対応し、”I”タグは同じエンティティの残りの用語に対応します。”B”と”I”の両方のタグの後にはハイフン（またはアンダースコア）が続き、その後にエンティティのカテゴリが続きます。したがって、NERタスクは、生のテキストを入力としてトークンにラベル付けする多クラストークン分類問題です。ペルシャ語のNERで使用される主な2つのデータセットは、ARMANとPEYMAです。ParsBERTでは、両方のデータセットおよび両方のデータセットの組み合わせに対してnerを用意しました。

ARMAN

ARMANデータセットには7,682文が含まれており、250,015文が6つの異なるクラスに分類されています。

1. 組織
2. 場所
3. 施設
4. イベント
5. 製品
6. 人物

ダウンロード データセットはここからダウンロードできます。

📚 ドキュメント

結果

以下の表は、ParsBERTが他のモデルやアーキテクチャと比較して得たF1スコアをまとめたものです。

使い方

ノートブック	説明
パイプラインの使い方	transformersを通じて下流タスクで最先端のモデルを簡単かつ効率的に使用する方法

引用

もしあなたの研究でParsBERTを使用している場合は、以下の論文をあなたの出版物で引用してください。

@article{ParsBERT,
    title={ParsBERT: Transformer-based Model for Persian Language Understanding},
    author={Mehrdad Farahani, Mohammad Gharachorloo, Marzieh Farahani, Mohammad Manthouri},
    journal={ArXiv},
    year={2020},
    volume={abs/2005.12515}
}

謝辞

私たちは、必要な計算リソースを提供してくれたTensorflow Research Cloud (TFRC)プログラムに感謝の意を表します。また、データセットの収集やオンラインテキストリソースの収集を支援してくれたHooshvare研究グループにも感謝します。

貢献者

• Mehrdad Farahani: Linkedin, Twitter, Github
• Mohammad Gharachorloo: Linkedin, Twitter, Github
• Marzieh Farahani: Linkedin, Twitter, Github
• Mohammad Manthouri: Linkedin, Twitter, Github
• Hooshvareチーム: 公式ウェブサイト, Linkedin, Twitter, Github, Instagram

• そして、素晴らしいポスターデザインをしてくれたSara Tabriziに特別な感謝を送ります。彼女をフォローしてください: Linkedin, Behance, Instagram

リリース

リリースv0.1 (2019年5月29日)

これは、私たちのParsBERT NERの最初のバージョンです！

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。