Hindi Tpu Electra

🚀 ヒンディー語言モデル

このモデルは、ELECTRAのベースサイズ設定で学習されたヒンディー語言モデルです。特定のタスクにおいて、Multilingual BERTを上回る性能を発揮します。

🚀 クイックスタート

このモデルを使用するには、以下のリンクを参考にしてください。

• トークン化と学習のCoLab

✨ 主な機能

• ヒンディー映画レビューの感情分析：このモデルは、ヒンディー映画レビューの感情分析（SimpleTransformersを使用）において、Multilingual BERTを上回る性能を発揮します。
• ktrain + TensorFlowによる高精度化：ktrain + TensorFlowを使用することで、学習率やその他のハイパーパラメータを調整し、より高い精度を得ることができます。詳細はこちら
• MLQAデータセットでの質問応答：MLQAデータセットでの質問応答にも対応しています。
• BBCニュース分類タスク：より小さいモデルであるHindi - BERTは、BBCニュース分類タスクで良好な性能を示します。

📦 インストール

データ構造

以下のようにファイルを構成してください。データディレクトリはここでは "trainer" と名付けています。

trainer
- vocab.txt
- pretrain_tfrecords
-- (all .tfrecord... files)
- models
-- modelname
--- checkpoint
--- graph.pbtxt
--- model.*

💻 使用例

基本的な使用法

ELECTRAのチェックポイントをTransformers対応のモデルに変換するには、以下の手順を実行します。

git clone https://github.com/huggingface/transformers
python ./transformers/src/transformers/convert_electra_original_tf_checkpoint_to_pytorch.py
  --tf_checkpoint_path=./models/checkpointdir
  --config_file=config.json
  --pytorch_dump_path=pytorch_model.bin
  --discriminator_or_generator=discriminator
python

高度な使用法

変換後のモデルをロードし、保存するには、以下のコードを実行します。

from transformers import TFElectraForPreTraining
model = TFElectraForPreTraining.from_pretrained("./dir_with_pytorch", from_pt=True)
model.save_pretrained("tf")

ディレクトリに config.json、pytorch_model.bin、tf_model.h5、special_tokens_map.json、tokenizer_config.json、vocab.txt がある状態で、以下のコマンドを実行します。

transformers-cli upload directory

📚 ドキュメント

コーパス

コーパスは2つのファイルで構成されています。

• Hindi CommonCrawl：OSCARによって重複排除されたものです。詳細
• 最新のヒンディー語ウィキペディア：ダンプ + WikiExtractorを使用してテキストに変換したものです。

ボキャブラリ

ボキャブラリは以下のリンクからダウンロードできます。 ボキャブラリのダウンロード

ヒント

• コーパスに英語のウィキテキストや並列コーパスを追加すると、多言語タスクや学習に役立つ場合があります。
• HuggingFace Tokenizersを使用してボキャブラリサイズを増やし、再学習することができます。ただし、ELECTRAのvocab_sizeを変更することを忘れないでください。