Bert Base Parsbert Peymaner Uncased

🚀 ParsBERT: ペルシャ語理解のためのTransformerベースのモデル

ParsBERTは、GoogleのBERTアーキテクチャに基づく単言語モデルで、BERT-Baseと同じ設定を持っています。

ParsBERTを紹介する論文: arXiv:2005.12515

すべてのモデル（下流タスク）は大文字小文字を区別せず、単語全体のマスキングで学習されています。（近日公開、お楽しみに）

🚀 クイックスタート

ParsBERTは、GoogleのBERTアーキテクチャを基にしたペルシャ語理解用のモデルです。以下に、ParsBERTを使用するための基本的な情報を紹介します。

✨ 主な機能

ペルシャ語の固有表現抽出 (NER) [ARMAN, PEYMA, ARMAN+PEYMA]

このタスクは、テキスト内の固有表現（名前など）を抽出し、場所や組織などの適切なNERクラスでラベル付けすることを目的としています。このタスクに使用されるデータセットには、IOB形式でマークされた文が含まれています。この形式では、エンティティの一部ではないトークンは”O”とタグ付けされ、”B”タグはオブジェクトの最初の単語に対応し、”I”タグは同じエンティティの残りの用語に対応します。”B”と”I”の両方のタグの後にはハイフン（またはアンダースコア）が続き、その後にエンティティのカテゴリが続きます。したがって、NERタスクは、生のテキストを入力としてトークンにラベル付けする多クラストークン分類問題です。ペルシャ語のNERで使用される主な2つのデータセットは、ARMANとPEYMAです。ParsBERTでは、これらの両方のデータセットと、両方のデータセットを組み合わせたものに対してnerを用意しました。

PEYMA

PEYMAデータセットには、合計302,530トークンを含む7,145文が含まれており、そのうち41,148トークンが7つの異なるクラスでタグ付けされています。

1. 組織
2. 金額
3. 場所
4. 日付
5. 時間
6. 人物
7. パーセント

ダウンロード データセットはここからダウンロードできます。

結果

以下の表は、ParsBERTが他のモデルやアーキテクチャと比較して得たF1スコアをまとめたものです。

💻 使用例

基本的な使用法

以下のノートブックを使用することで、ParsBERTを簡単に使うことができます。

ノートブック	説明
How to use Pipelines	transformersを通じて最先端のモデルを下流タスクで簡単かつ効率的に使用する方法

📚 ドキュメント

引用

あなたの研究でParsBERTを使用する場合は、以下の論文を引用してください。

@article{ParsBERT,
    title={ParsBERT: Transformer-based Model for Persian Language Understanding},
    author={Mehrdad Farahani, Mohammad Gharachorloo, Marzieh Farahani, Mohammad Manthouri},
    journal={ArXiv},
    year={2020},
    volume={abs/2005.12515}
}

謝辞

私たちは、必要な計算リソースを提供してくれたTensorflow Research Cloud (TFRC)プログラムに感謝の意を表します。また、データセットの収集やオンラインテキストリソースのスクレイピングを支援してくれたHooshvare研究グループにも感謝します。

貢献者

• Mehrdad Farahani: Linkedin, Twitter, Github
• Mohammad Gharachorloo: Linkedin, Twitter, Github
• Marzieh Farahani: Linkedin, Twitter, Github
• Mohammad Manthouri: Linkedin, Twitter, Github
• Hooshvare Team: 公式ウェブサイト, Linkedin, Twitter, Github, Instagram

そして、素晴らしいポスターデザインをしてくれたSara Tabriziに特別な感謝を送ります。彼女をフォローしましょう: Linkedin, Behance, Instagram

リリース

リリースv0.1 (2019年5月29日)

これは、私たちのParsBERT NERの最初のバージョンです！

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。