Ibert Roberta Base

🚀 I-BERT基礎模型

ibert-roberta-base 模型是 RoBERTa 的僅整數量化版本，該模型在 這篇論文 中被提出。I-BERT 使用 INT8 表示存儲所有參數，並使用僅整數運算進行整個推理過程。具體而言，I-BERT 用近似的整數運算替換了 Transformer 架構中的所有浮點運算（例如，矩陣乘法、GELU、Softmax 和層歸一化）。在 Nvidia T4 GPU 上測試時，與浮點版本相比，這可以使推理速度提高多達 4 倍。通過量化感知微調搜索到的最佳模型參數可以隨後導出（例如，導出到 TensorRT），以實現模型的僅整數部署。

🚀 快速開始

✨ 主要特性

• 僅整數量化：I-BERT 存儲所有參數使用 INT8 表示，並使用僅整數運算進行整個推理過程。
• 運算替換：用近似的整數運算替換了 Transformer 架構中的所有浮點運算。
• 推理加速：在 Nvidia T4 GPU 上測試時，與浮點版本相比，推理速度可提高多達 4 倍。
• 可部署性：通過量化感知微調搜索到的最佳模型參數可以導出，以實現模型的僅整數部署。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

I-BERT 的微調過程包括三個階段：

1. 全精度微調：從預訓練模型在下游任務上進行全精度微調。
2. 模型量化：將全精度模型轉換為僅整數模型。
3. 僅整數微調：對量化後的模型進行僅整數微調（即量化感知訓練）。

高級用法

以下是每個階段的詳細說明和示例代碼：

全精度微調

I-BERT 的全精度微調與 RoBERTa 微調類似。例如，你可以運行以下命令在 MRPC 文本分類任務上進行微調：

python examples/text-classification/run_glue.py \
         --model_name_or_path kssteven/ibert-roberta-base \
         --task_name MRPC \
         --do_eval \
         --do_train \
         --evaluation_strategy epoch \
         --max_seq_length 128 \
         --per_device_train_batch_size 32 \
         --save_steps 115 \
         --learning_rate 2e-5 \
         --num_train_epochs 10 \
         --output_dir $OUTPUT_DIR

模型量化

完成全精度微調後，打開檢查點目錄中的 config.json 文件，並將 quantize 屬性設置為 true：

{                                  
  "_name_or_path": "kssteven/ibert-roberta-base",       
  "architectures": [               
    "IBertForSequenceClassification"                    
  ],                               
  "attention_probs_dropout_prob": 0.1,                  
  "bos_token_id": 0,               
  "eos_token_id": 2,               
  "finetuning_task": "mrpc",       
  "force_dequant": "none",         
  "hidden_act": "gelu",            
  "hidden_dropout_prob": 0.1,      
  "hidden_size": 768,              
  "initializer_range": 0.02,       
  "intermediate_size": 3072,       
  "layer_norm_eps": 1e-05,         
  "max_position_embeddings": 514,  
  "model_type": "ibert",           
  "num_attention_heads": 12,       
  "num_hidden_layers": 12,         
  "pad_token_id": 1,               
  "position_embedding_type": "absolute",                
  "quant_mode": true,             
  "tokenizer_class": "RobertaTokenizer",                
  "transformers_version": "4.4.0.dev0",                 
  "type_vocab_size": 1,            
  "vocab_size": 50265              
}                   

然後，當你加載檢查點時，模型將自動以僅整數模式運行。此外，請確保刪除同一目錄中的 optimizer.pt、scheduler.pt 和 trainer_state.json 文件。否則，Hugging Face 將不會為後續的僅整數微調重置優化器、調度器或訓練器狀態。

僅整數微調（量化感知訓練）

最後，你只需加載修改後的檢查點文件即可運行僅整數微調。請注意，以下示例命令中唯一的區別是 model_name_or_path：

python examples/text-classification/run_glue.py \
         --model_name_or_path $CHECKPOINT_DIR
         --task_name MRPC \
         --do_eval \
         --do_train \
         --evaluation_strategy epoch \
         --max_seq_length 128 \
         --per_device_train_batch_size 32 \
         --save_steps 115 \
         --learning_rate 1e-6 \
         --num_train_epochs 10 \
         --output_dir $OUTPUT_DIR

📚 詳細文檔

文檔未提及詳細說明，故跳過此章節。

🔧 技術細節

文檔未提及技術實現細節，故跳過此章節。

📄 許可證

文檔未提及許可證信息，故跳過此章節。

📄 引用信息

如果你使用 I-BERT，請引用 我們的論文：

@article{kim2021bert,
  title={I-BERT: Integer-only BERT Quantization},
  author={Kim, Sehoon and Gholami, Amir and Yao, Zhewei and Mahoney, Michael W and Keutzer, Kurt},
  journal={arXiv preprint arXiv:2101.01321},
  year={2021}
}