Aramodernbert Topic Classifier

🚀 トピック分類用AraModernBert

このモデルは、トピック分類などのタスクでModernBERTをアラビア語に適応させる方法を実証する実験的なアラビア語モデルです。

🚀 クイックスタート

このモデルは、transformersライブラリを使用してテキスト分類に利用できます。以下に使用例を示します。

基本的な使用法

from transformers import pipeline

# Load model from huggingface.co/models using our repository ID
classifier = pipeline(
    task="text-classification",
    model="Omartificial-Intelligence-Space/AraModernBert-Topic-Classifier",
)

sample = '''
PUT SOME TEXT HERE TO CLASSIFY ITS TOPIC
'''
classifier(sample)

# [{'label': 'health', 'score': 0.6779336333274841}]

✨ 主な機能

これはModernBERT-baseの実験的なアラビア語バージョンで、オリジナルのModernBERTのベースモデルとカスタムのアラビア語学習済みトークナイザーを使用して、トピック分類タスクのみで学習されています。詳細は以下の通りです。

• データセット：アラビア語版ウィキペディア
• サイズ：1.8 GB
• トークン数：228,788,529トークン

このモデルは、トピック分類などのタスクでModernBERTをアラビア語に適応させる方法を実証しています。

📚 ドキュメント

モデル評価の詳細

• エポック数：3
• 評価指標：
  • F1スコア：0.95
  • 損失：0.1998
• 学習ステップ数：47,862

学習に使用したデータセット

• SANAD DATASETが学習とテストに使用されました。このデータセットには、政治、金融、医療、文化、スポーツ、技術、宗教など7つの異なるトピックが含まれています。

テストフェーズの結果

• このモデルは、異なるトピックの14181のサンプルからなるテストセットで評価されました。これらのトピックの分布は以下の通りです。

• このモデルは、このテストセットで以下の予測精度を達成しました。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

引用

@misc{modernbert,
      title={Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference}, 
      author={Benjamin Warner and Antoine Chaffin and Benjamin Clavié and Orion Weller and Oskar Hallström and Said Taghadouini and Alexis Gallagher and Raja Biswas and Faisal Ladhak and Tom Aarsen and Nathan Cooper and Griffin Adams and Jeremy Howard and Iacopo Poli},
      year={2024},
      eprint={2412.13663},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.13663}, 
}

⚠️ 重要な注意事項

これは実験的なアラビア語モデルで、トピック分類などのタスクでModernBERTをアラビア語に適応させる方法を実証しています。