Bert Fa Base Uncased Ner Peyma

🚀 ParsBERT (v2.0)

ParsBERTは、ペルシャ語の言語理解のためのTransformerベースのモデルです。ParsBERT v1.1の語彙を再構築し、新しいペルシャ語コーパスでファインチューニングすることで、ParsBERTを他の領域で使用するための機能を提供します。

🚀 クイックスタート

ParsBERT v2.0は、ペルシャ語の言語理解を目的として開発されたTransformerベースのモデルです。以前のバージョンのモデルに関する最新情報については、ParsBERTのリポジトリをご覧ください。

✨ 主な機能

ペルシャ語の固有表現抽出 [ARMAN, PEYMA]

このタスクは、テキストから人名や地名、組織名などの固有表現を抽出し、適切なNERクラス（場所、組織など）でラベル付けすることを目的としています。このタスクに使用されるデータセットには、IOB形式でマークされた文が含まれています。この形式では、エンティティの一部ではないトークンは”O”とタグ付けされ、”B”タグはオブジェクトの最初の単語に対応し、”I”タグは同じエンティティの残りの用語に対応します。”B”と”I”の両方のタグの後にはハイフン（またはアンダースコア）が続き、その後にエンティティのカテゴリが続きます。したがって、NERタスクは、生のテキストを入力としてトークンにラベル付けする多クラストークン分類問題です。ペルシャ語のNERで使用される主なデータセットには、ARMANとPEYMAの2つがあります。

PEYMA

PEYMAデータセットには、合計302,530トークンの7,145文が含まれており、そのうち41,148トークンが7つの異なるクラスでタグ付けされています。

1. 組織
2. 金額
3. 場所
4. 日付
5. 時間
6. 人物
7. パーセント

ダウンロード データセットはこちらからダウンロードできます。

📚 ドキュメント

結果

以下の表は、ParsBERTが他のモデルやアーキテクチャと比較して得たF1スコアをまとめたものです。

使い方

ノートブック	説明
パイプラインの使い方	transformersを通じて下流タスクで最先端のモデルを簡単かつ効率的に使用する方法

BibTeXエントリと引用情報

出版物では、以下のように引用してください。

@article{ParsBERT,
    title={ParsBERT: Transformer-based Model for Persian Language Understanding},
    author={Mehrdad Farahani, Mohammad Gharachorloo, Marzieh Farahani, Mohammad Manthouri},
    journal={ArXiv},
    year={2020},
    volume={abs/2005.12515}
}

質問

質問がある場合は、ParsBERT IssuesのリポジトリにGitHubのイシューを投稿してください。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。