Bert Base Parsbert Ner Uncased

🚀 ParsBERT: ペルシャ語理解のためのTransformerベースのモデル

ParsBERTは、GoogleのBERTアーキテクチャに基づく単言語モデルで、BERT-Baseと同じ設定を持っています。

ParsBERTを紹介する論文: arXiv:2005.12515

すべてのモデル（下流タスク）は小文字化されており、全単語マスキングで学習されています。（近日公開予定）

🚀 クイックスタート

ParsBERTは、GoogleのBERTアーキテクチャに基づく単言語モデルで、ペルシャ語の理解に特化しています。以下のセクションでは、ParsBERTの主な機能や使用方法、関連するデータセットについて説明します。

✨ 主な機能

ペルシャ語の固有表現抽出 (NER)

このタスクでは、テキスト内の固有表現（人名、組織名、場所など）を抽出し、適切なNERクラスでラベル付けします。ParsBERTでは、ARMANとPEYMAという2つの主要なデータセットを使用して、それぞれのデータセットおよびそれらの組み合わせに対するNERを用意しています。

📦 インストール

READMEにインストール手順が記載されていないため、このセクションは省略されました。

💻 使用例

基本的な使用法

READMEに具体的なコード例が記載されていないため、このセクションは省略されました。

📚 ドキュメント

ペルシャ語の固有表現抽出 (NER)

PEYMAデータセット

PEYMAデータセットは、合計302,530トークンを含む7,145文から構成されており、そのうち41,148トークンが7つの異なるクラスでタグ付けされています。

1. 組織
2. 金額
3. 場所
4. 日付
5. 時間
6. 人物
7. パーセント

ダウンロード データセットはこちらからダウンロードできます。

ARMANデータセット

ARMANデータセットは、250,015トークンを含む7,682文が6つの異なるクラスでタグ付けされています。

1. 組織
2. 場所
3. 施設
4. イベント
5. 製品
6. 人物

ダウンロード データセットはこちらからダウンロードできます。

結果

以下の表は、ParsBERTが他のモデルやアーキテクチャと比較して得たF1スコアをまとめたものです。

使用方法

ノートブック	説明
パイプラインの使用方法	transformersを通じて下流タスクで最先端のモデルを簡単かつ効率的に使用する方法

🔧 技術詳細

READMEに具体的な技術詳細が記載されていないため、このセクションは省略されました。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。

引用

あなたの研究でParsBERTを使用する場合は、以下の論文を引用してください。

@article{ParsBERT,
    title={ParsBERT: Transformer-based Model for Persian Language Understanding},
    author={Mehrdad Farahani, Mohammad Gharachorloo, Marzieh Farahani, Mohammad Manthouri},
    journal={ArXiv},
    year={2020},
    volume={abs/2005.12515}
}

謝辞

Tensorflow Research Cloud (TFRC)プログラムに必要な計算リソースを提供していただき、感謝いたします。また、Hooshvare研究グループにデータセットの収集やオンラインテキストリソースの収集を支援していただき、感謝いたします。

貢献者

• Mehrdad Farahani: Linkedin, Twitter, Github
• Mohammad Gharachorloo: Linkedin, Twitter, Github
• Marzieh Farahani: Linkedin, Twitter, Github
• Mohammad Manthouri: Linkedin, Twitter, Github
• Hooshvare Team: 公式ウェブサイト, Linkedin, Twitter, Github, Instagram

• 素敵なポスターデザインをしてくれたSara Tabriziに特別な感謝を送ります。彼女をフォローしてください: Linkedin, Behance, Instagram

リリース

リリースv0.1 (2019年5月29日)

これはParsBERT NERの最初のバージョンです！