Hindi Tpu Electra

🚀 印地語語言模型

該模型基於ELECTRA基礎尺寸設置進行訓練，在印地語相關任務中表現出色

🚀 快速開始

此印地語語言模型基於ELECTRA基礎尺寸設置進行訓練。你可以通過以下鏈接進行相關操作：

• 分詞和訓練的CoLab

✨ 主要特性

• 性能表現優異：該模型在印地語電影評論/情感分析（使用SimpleTransformers）任務中表現優於多語言BERT。
• 可調整性強：使用ktrain + TensorFlow可以獲得更高的準確率，並且可以調整學習率和其他超參數。點擊查看示例
• 多任務支持：可在MLQA數據集上進行問答任務。點擊查看示例
• 對比參考：一個較小的模型（印地語 - BERT）在BBC新聞分類任務中表現更好。

📦 安裝指南

文檔未提及具體安裝步驟，暫不提供相關內容。

💻 使用示例

文檔未提供具體代碼示例，暫不提供相關內容。

📚 詳細文檔

語料庫

語料庫由兩個文件組成：

• 由OSCAR去重的印地語CommonCrawl數據：https://traces1.inria.fr/oscar/
• 最新的印地語維基百科數據（https://dumps.wikimedia.org/hiwiki/） + 使用WikiExtractor轉換為文本

額外提示：

• 添加英語維基文本或平行語料庫可能有助於跨語言任務和訓練

詞彙表

點擊查看詞彙表

額外提示：

• 使用HuggingFace Tokenizers創建；你可以增加詞彙表大小並重新訓練；記得更改ELECTRA的vocab_size

訓練

將文件按以下結構組織，此處數據目錄名為 "trainer"

trainer
- vocab.txt
- pretrain_tfrecords
-- (所有 .tfrecord... 文件)
- models
-- modelname
--- checkpoint
--- graph.pbtxt
--- model.*

轉換

使用以下過程將正在進行或已完成的ELECTRA檢查點轉換為適用於Transformers的模型：

git clone https://github.com/huggingface/transformers
python ./transformers/src/transformers/convert_electra_original_tf_checkpoint_to_pytorch.py
  --tf_checkpoint_path=./models/checkpointdir
  --config_file=config.json
  --pytorch_dump_path=pytorch_model.bin
  --discriminator_or_generator=discriminator
python

from transformers import TFElectraForPreTraining
model = TFElectraForPreTraining.from_pretrained("./dir_with_pytorch", from_pt=True)
model.save_pretrained("tf")

當你在同一級別形成一個包含config.json、pytorch_model.bin、tf_model.h5、special_tokens_map.json、tokenizer_config.json和vocab.txt的目錄後，運行：

transformers-cli upload directory

🔧 技術細節

文檔未提供具體技術實現細節，暫不提供相關內容。

📄 許可證

文檔未提及許可證信息，暫不提供相關內容。