Aragpt2 Mega

🚀 阿拉伯語GPT2

阿拉伯語GPT2是基於GPT2架構的阿拉伯語語言模型，可用於多種自然語言處理任務。本倉庫代碼可用於訓練所有GPT2變體，支持在GPU和TPU上進行訓練和微調。

🚀 快速開始

你可以在我們的論文 AraGPT2 中找到更多信息。

✨ 主要特性

• 支持在GPU和TPU上訓練和微調GPT2。
• 提供不同規模的模型，包括base、medium、large和mega。
• 所有模型都可在 HuggingFace 模型頁面獲取，支持PyTorch、TF2和TF1格式。

📦 安裝指南

本README未提及安裝相關步驟，故跳過此章節。

💻 使用示例

基礎用法

使用 transformers 庫測試模型：

from transformers import AutoModelForCausalLM, pipeline
from arabert.preprocess import ArabertPreprocessor

MODEL_NAME='aubmindlab/aragpt2-mega'
arabert_prep = ArabertPreprocessor(model_name=MODEL_NAME)

text=""
text_clean = arabert_prep.preprocess(text)

model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, trust_remote_code=True)
tokenizer = GPT2TokenizerFast.from_pretrained(MODEL_NAME)
generation_pipeline = pipeline(
    "text-generation", model=MODEL_NAME, trust_remote_code=True
)

# 可嘗試不同的解碼設置
generation_pipeline(text,
    pad_token_id=pipeline.tokenizer.eos_token_id,
    num_beams=10,
    max_length=200,
    top_p=0.9,
    repetition_penalty = 3.0,
    no_repeat_ngram_size = 3)[0]['generated_text']

高級用法

使用我們的代碼結合TF 1.15.4進行微調： 創建訓練TFRecords：

python create_pretraining_data.py
 --input_file=<RAW TEXT FILE with documents/article separated by an empty line>
 --output_file=<OUTPUT TFRecord>
 --tokenizer_dir=<Directory with the GPT2 Tokenizer files>

微調：

python3 run_pretraining.py \
  --input_file="gs://<GS_BUCKET>/pretraining_data/*" \
  --output_dir="gs://<GS_BUCKET>/pretraining_model/" \
  --config_file="config/small_hparams.json" \
  --batch_size=128 \
  --eval_batch_size=8 \
  --num_train_steps= \
  --num_warmup_steps= \
  --learning_rate= \
  --save_checkpoints_steps= \
  --max_seq_length=1024 \
  --max_eval_steps= \
  --optimizer="lamb" \
  --iterations_per_loop=5000 \
  --keep_checkpoint_max=10 \
  --use_tpu=True \
  --tpu_name=<TPU NAME> \
  --do_train=True \
  --do_eval=False

📚 詳細文檔

模型規格

所有模型都可在 HuggingFace 模型頁面以 aubmindlab 名稱獲取。檢查點支持PyTorch、TF2和TF1格式。

計算資源

如需瞭解數據集來源，請參閱 數據集部分

數據集

新的AraBERT模型的預訓練數據也用於 GPT2和ELECTRA。 該數據集包含77GB、200,095,961行、8,655,948,860個單詞或82,232,988,358個字符（應用Farasa分割之前）。 對於新數據集，我們將經過徹底過濾的未打亂的OSCAR語料庫添加到之前用於AraBERTv1的數據集，但不包括之前爬取的網站：

• 未打亂且經過過濾的OSCAR語料庫。
• 2020/09/01的阿拉伯語維基百科轉儲
• 15億單詞的阿拉伯語語料庫
• OSIAN語料庫
• Assafir新聞文章。非常感謝Assafir提供數據。

🔧 技術細節

GPT2-base和medium使用 gpt2 文件夾中的代碼，可從 minimaxir/gpt-2-simple 倉庫訓練模型。這些模型使用 lamb 優化器，遵循與 gpt2 相同的架構，並且與 transformers 庫完全兼容。 GPT2-large和GPT2-mega使用 imcaspar/gpt2-ml 庫進行訓練，遵循 grover 架構。你可以使用 grover/modeling_gpt2.py 中的pytorch類直接替換 transformers 庫中的類（應支持 transformers 的 v4.x 版本）。這兩個模型都使用 adafactor 優化器，因為 adam 和 lamb 優化器使用的內存過多，導致模型在TPU核心上甚至無法容納1個批次。

📄 許可證

本模型採用自定義許可證，詳情請見 許可證鏈接。

其他信息

免責聲明

阿拉伯語GPT2生成的文本是由在大量文本上訓練的神經網絡模型自動生成的，並不代表作者或其機構的官方態度和偏好。阿拉伯語GPT2生成的文本僅應用於研究和科學目的。如果它侵犯了你的權益或違反了社會道德，請不要傳播它。

引用

如果你使用了此模型，請按以下格式引用：

@inproceedings{antoun-etal-2021-aragpt2,
    title = "{A}ra{GPT}2: Pre-Trained Transformer for {A}rabic Language Generation",
    author = "Antoun, Wissam  and
      Baly, Fady  and
      Hajj, Hazem",
    booktitle = "Proceedings of the Sixth Arabic Natural Language Processing Workshop",
    month = apr,
    year = "2021",
    address = "Kyiv, Ukraine (Virtual)",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2021.wanlp-1.21",
    pages = "196--207",
}

致謝

感謝TensorFlow Research Cloud (TFRC) 免費提供Cloud TPU訪問權限，沒有這個項目我們無法完成這項工作。感謝 AUB MIND Lab 成員的持續支持。也感謝 Yakshof 和Assafir提供數據和存儲訪問權限。另外感謝Habib Rahal (https://www.behance.net/rahalhabib) 為AraBERT設計形象。

聯繫方式

• Wissam Antoun：領英 | 推特 | Github | wfa07@mail.aub.edu | wissam.antoun@gmail.com
• Fady Baly：領英 | 推特 | Github | fgb06@mail.aub.edu | baly.fady@gmail.com