Albert Fa Base V2 Clf Persiannews

🚀 ペルシア語ALBERTモデル

ペルシア語ALBERT（A Lite BERT）は、ペルシア語の言語表現を自己教師付き学習するための軽量版BERTモデルです。「小BERT」と呼ぶこともできます。

ペルシア語ALBERT は、ALBERTをペルシア語に初めて適用した試みです。このモデルはGoogleのALBERT BASE 2.0バージョンをベースに訓練されており、科学、小説、ニュースなど様々な主題の多様な文体のデータを使用しています。これらのデータは、390万を超えるドキュメント、7300万の文、13億の単語を含み、ParsBERTの訓練方法と似ています。

ペルシア語ALBERT リポジトリをフォローして、過去と現在のモデルに関する最新情報を入手してください。

✨ 主な機能

ペルシア語テキスト分類 [DigiMag、ペルシア語ニュース]

このタスクは、DigiMag と ペルシア語ニュース の2つの既存データセット内のテキストに対して教師付きのラベリングを行うことを目的としています。

ペルシア語ニュースデータセット

これは、様々なオンラインニュース機関のウェブサイトから収集された様々なニュース記事のデータセットです。記事の総数は16438本で、以下の8つの異なるカテゴリに分類されています。

1. 経済
2. 国際
3. 政治
4. 科学技術
5. 文化芸術
6. スポーツ
7. 医療

ダウンロード先 このデータセットは こちら からダウンロードできます。

実験結果

以下の表は、他のモデルやアーキテクチャと比較して得られたF1スコアをまとめたものです。

BibTeX引用と引用情報

出版物で引用する場合は、以下の形式を使用してください。

@misc{ALBERTPersian,
  author = {Mehrdad Farahani},
  title = {ALBERT-Persian: A Lite BERT for Self-supervised Learning of Language Representations for the Persian Language},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/m3hrdadfi/albert-persian}},
}

@article{ParsBERT,
    title={ParsBERT: Transformer-based Model for Persian Language Understanding},
    author={Mehrdad Farahani, Mohammad Gharachorloo, Marzieh Farahani, Mohammad Manthouri},
    journal={ArXiv},
    year={2020},
    volume={abs/2005.12515}
}

📄 ライセンス

このプロジェクトはApache 2.0ライセンスの下で提供されています。

❓ よくある質問

何か質問がある場合は、ペルシア語ALBERT リポジトリでGitHub issueを投稿してください。