Gpt2 Small Arabic

🚀 GPT2-Small-Arabic

このモデルは、アラビア語版Wikipediaのデータセットを元に、gpt2-smallをベースに構築されたGPT2モデルです（Fastai2を使用）。アラビア語のテキストや詩の生成に役立ちます。

🚀 クイックスタート

このモデルの使用例は、このColabノートブックにて提供されています。テキスト生成と詩の生成（ファインチューニング済みモデル）の両方が含まれています。

✨ 主な機能

• アラビア語のWikipediaデータセットを使用したGPT2モデル。
• テキストと詩の生成が可能。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

READMEに具体的なコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

想定される用途と制限

制限事項とバイアス

GPT2-small-arabic（アラビア語版Wikipediaで学習）は、カバレッジ（アラビア語版Wikipediaの品質、ダイアクリティカルマークの欠如）と学習性能の面でいくつかの制限があります。デモンストレーションや概念実証として使用してくださいが、本番コードとしては使用しないでください。

学習データ

この事前学習モデルは、アラビア語版Wikipediaのダンプ（約900MB）を使用しています。

学習手順

学習は、Kaggle上でFastai2ライブラリを使用し、無料のGPUを利用して行われました。

評価結果

最終的なパープレキシティは72.19、損失は4.28、精度は0.307に達しました。

引用情報

@inproceedings{Abed Khooli,
  year={2020}
}