Arabic T5 Small

🚀 アラビア語T5-small

このモデルは、アラビア語ビリオンワードコーパスとmC4およびOscarデータセットのアラビア語サブセットを連結したデータで学習されたT5v1.1（small）です。

時間制限のため、モデルは全データセットの約10%でのみ学習できました。これは22,000ステップまたは約43億トークンに相当します。

📚 詳細ドキュメント

学習パラメータ

前処理とトークナイザー

前処理は最小限に抑えました。URL、メールアドレス、ソーシャルメディアのユーザーメンションを固定トークンに置き換えるだけです。

他の事前学習済みアラビア語言語モデルとは異なり、アラビア語のダイアクリティクスを削除せず、語彙の一部として残すことにしました。

トークナイザーは学習セットの5%で学習され、語彙サイズは64,000です。

前処理の詳細については、トークナイザーコードを確認してください。

データ

モデルは、アラビア語ビリオンワードコーパスとmC4およびOscarデータセットのアラビア語サブセットを連結したデータで学習されました。

データのランダムな0.1%サブセットは評価用に予約され、残りは学習用に使用されました。

結果

ファインチューニングに関する注意

このモデルはドロップアウトをオフにして事前学習されているため、モデル設定のデフォルトのdropout_rateは0です。 モデルをファインチューニングするには、ドロップアウトを再度オンにする必要があります。例えば、以下のようにします。

model = T5ForConditionalGeneration.from_pretrained("flax-community/arabic-t5-small", dropout_rate=0.1)

または、

model = AutoModelForSeq2SeqLM.from_pretrained("flax-community/arabic-t5-small", dropout_rate=0.1)