Bert Fa Base Uncased Ner Arman

🚀 ParsBERT (v2.0)

ParsBERTは、ペルシア語の言語理解のためのTransformerベースのモデルです。ParsBERT v1.1の語彙を再構築し、新しいペルシア語コーパスでファインチューニングすることで、他の領域での使用にも対応した機能を提供します。

🚀 クイックスタート

ParsBERT v2.0の最新情報については、ParsBERTのリポジトリをご覧ください。

✨ 主な機能

ペルシア語の固有表現抽出 [ARMAN, PEYMA]

このタスクは、テキスト内の固有表現（名前など）を抽出し、場所や組織などの適切なNERクラスでラベル付けすることを目的としています。このタスクに使用されるデータセットは、IOB形式でマークされた文を含んでいます。この形式では、エンティティの一部ではないトークンは”O”とタグ付けされ、”B”タグはオブジェクトの最初の単語に対応し、”I”タグは同じエンティティの残りの用語に対応します。”B”と”I”の両方のタグの後にはハイフン（またはアンダースコア）が続き、その後にエンティティのカテゴリが続きます。したがって、NERタスクは、生のテキストを入力としてトークンにラベル付けする多クラストークン分類問題です。ペルシア語のNERで使用される主なデータセットには、ARMANとPEYMAの2つがあります。

ARMAN

ARMANデータセットには、6つの異なるクラスに分類された250,015個のトークンが含まれる7,682文があります。

1. 組織
2. 場所
3. 施設
4. イベント
5. 製品
6. 人物

ダウンロード データセットはこちらからダウンロードできます。

📚 ドキュメント

結果

以下の表は、ParsBERTが他のモデルやアーキテクチャと比較して得たF1スコアをまとめたものです。

使い方 :hugs:

ノートブック	説明
How to use Pipelines	transformersを通じて下流タスクで最先端のモデルを簡単かつ効率的に使用する方法

BibTeXエントリと引用情報

出版物では、次のように引用してください。

@article{ParsBERT,
    title={ParsBERT: Transformer-based Model for Persian Language Understanding},
    author={Mehrdad Farahani, Mohammad Gharachorloo, Marzieh Farahani, Mohammad Manthouri},
    journal={ArXiv},
    year={2020},
    volume={abs/2005.12515}
}

質問がある場合

ParsBERT IssuesのリポジトリにGitHubのissueを投稿してください。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下でライセンスされています。