Multilingual MiniLM L12 H384

🚀 MiniLM：用於語言理解和生成的小型快速預訓練模型

MiniLM是從論文“MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers”中提煉出來的模型。

有關MiniLM的預處理、訓練及完整詳細信息，請參考原始MiniLM倉庫。

請注意：此檢查點使用BertModel和XLMRobertaTokenizer，因此AutoTokenizer不適用於此檢查點！

✨ 主要特性

多語言預訓練模型

• Multilingual-MiniLMv1-L12-H384：12層，384隱藏層維度，12頭注意力機制，2100萬個Transformer參數，9600萬個嵌入參數

多語言MiniLM使用與XLM - R相同的分詞器。但我們模型的Transformer架構與BERT相同。我們基於huggingface/transformers提供了在XNLI上的微調代碼。請將transformers中的run_xnli.py替換為我們的代碼，以微調多語言MiniLM。

我們在跨語言自然語言推理基準（XNLI）和跨語言問答基準（MLQA）上對多語言MiniLM進行了評估。

📚 詳細文檔

跨語言自然語言推理 - XNLI

我們評估了模型從英語到其他語言的跨語言遷移能力。遵循Conneau等人（2019）的方法，我們在所有語言的聯合開發集上選擇了最佳的單一模型。

以下示例代碼展示瞭如何在XNLI上微調12層的多語言MiniLM。

# 在XNLI上運行微調
DATA_DIR=/{path_of_data}/
OUTPUT_DIR=/{path_of_fine-tuned_model}/
MODEL_PATH=/{path_of_pre-trained_model}/

python ./examples/run_xnli.py --model_type minilm \
 --output_dir ${OUTPUT_DIR} --data_dir ${DATA_DIR} \
 --model_name_or_path microsoft/Multilingual-MiniLM-L12-H384 \
 --tokenizer_name xlm-roberta-base \
 --config_name ${MODEL_PATH}/multilingual-minilm-l12-h384-config.json \
 --do_train \
 --do_eval \
 --max_seq_length 128 \
 --per_gpu_train_batch_size 128 \
 --learning_rate 5e-5 \
 --num_train_epochs 5 \
 --per_gpu_eval_batch_size 32 \
 --weight_decay 0.001 \
 --warmup_steps 500 \
 --save_steps 1500 \
 --logging_steps 1500 \
 --eval_all_checkpoints \
 --language en \
 --fp16 \
 --fp16_opt_level O2

跨語言問答 - MLQA

遵循Lewis等人（2019b）的方法，我們採用SQuAD 1.1作為訓練數據，並使用MLQA英語開發數據進行提前停止。

📄 許可證

本項目採用MIT許可證。

📖 引用

如果您在研究中發現MiniLM很有用，請引用以下論文：

@misc{wang2020minilm,
    title={MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers},
    author={Wenhui Wang and Furu Wei and Li Dong and Hangbo Bao and Nan Yang and Ming Zhou},
    year={2020},
    eprint={2002.10957},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}