Albert Fa Base V2 Ner Peyma

🚀 ALBERTペルシア語モデル

ALBERTペルシア語モデルは、ペルシア語に対して自己教師付き言語表現学習を行う軽量なBERTモデルです。ペルシア語に関連する自然言語処理タスクを支援し、ペルシア語の意味理解などの作業に強力なサポートを提供します。

ALBERT - ペルシア語は、ペルシア語に対する初のALBERTモデルの試みです。このモデルは、GoogleのALBERT BASEバージョン2.0に基づいて訓練されており、訓練データには、様々な執筆スタイルや多数のトピック（科学、小説、ニュースなど）を含む390万以上の文書、7300万の文、13億の単語が含まれています。これは、ParsBERTを訓練する方法と似ています。

ALBERT - ペルシア語リポジトリをフォローして、過去と現在のモデルに関する最新情報を入手してください。

✨ 主な機能

ペルシア語の固有表現抽出 [ARMAN, PEYMA]

このタスクは、テキストから人名などの固有表現を抽出し、適切なNERカテゴリ（場所、組織など）でラベル付けすることを目的としています。このタスクに使用されるデータセットは、IOB形式でラベル付けされた文を含んでいます。この形式では、エンティティに属さないトークンは”O”とラベル付けされ、”B”トークンはオブジェクトの最初の単語に対応し、”I”トークンは同じエンティティの残りの単語に対応します。”B”と”I”トークンの後には、ハイフン（またはアンダースコア）が続き、その後にエンティティのカテゴリが続きます。したがって、固有表現抽出タスクは、入力された生のテキストのトークンにラベル付けする多クラスのトークン分類問題です。ペルシア語の固有表現抽出では、主に2つのデータセットが使用されます：ARMANとPEYMA。

PEYMA

PEYMAデータセットには、合計302530個のトークンを含む7145個の文が含まれており、そのうち41148個のトークンが7つの異なるカテゴリにラベル付けされています。

1. 組織
2. 通貨
3. 場所
4. 日付
5. 時間
6. 人物
7. パーセント

ダウンロード このデータセットは、[こちら](http://nsurl.org/tasks/task - 7 - named - entity - recognition - ner - for - farsi/)からダウンロードできます。

📚 ドキュメント

結果

以下の表は、他のモデルやアーキテクチャと比較して得られたF1スコアをまとめたものです。

BibTeX引用と引用情報

出版物では、次のように引用してください。

@misc{ALBERTPersian,
  author = {Mehrdad Farahani},
  title = {ALBERT-Persian: A Lite BERT for Self-supervised Learning of Language Representations for the Persian Language},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/m3hrdadfi/albert-persian}},
}

@article{ParsBERT,
    title={ParsBERT: Transformer-based Model for Persian Language Understanding},
    author={Mehrdad Farahani, Mohammad Gharachorloo, Marzieh Farahani, Mohammad Manthouri},
    journal={ArXiv},
    year={2020},
    volume={abs/2005.12515}
}

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で提供されています。

❓ よくある質問

何か質問がある場合は、ALBERT - ペルシア語リポジトリでGitHubのissueを投稿してください。