Multilingual MiniLM L12 H384

🚀 MiniLM：用于语言理解和生成的小型快速预训练模型

MiniLM是从论文“MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers”中提炼出来的模型。

有关MiniLM的预处理、训练及完整详细信息，请参考原始MiniLM仓库。

请注意：此检查点使用BertModel和XLMRobertaTokenizer，因此AutoTokenizer不适用于此检查点！

✨ 主要特性

多语言预训练模型

• Multilingual-MiniLMv1-L12-H384：12层，384隐藏层维度，12头注意力机制，2100万个Transformer参数，9600万个嵌入参数

多语言MiniLM使用与XLM - R相同的分词器。但我们模型的Transformer架构与BERT相同。我们基于huggingface/transformers提供了在XNLI上的微调代码。请将transformers中的run_xnli.py替换为我们的代码，以微调多语言MiniLM。

我们在跨语言自然语言推理基准（XNLI）和跨语言问答基准（MLQA）上对多语言MiniLM进行了评估。

📚 详细文档

跨语言自然语言推理 - XNLI

我们评估了模型从英语到其他语言的跨语言迁移能力。遵循Conneau等人（2019）的方法，我们在所有语言的联合开发集上选择了最佳的单一模型。

以下示例代码展示了如何在XNLI上微调12层的多语言MiniLM。

# 在XNLI上运行微调
DATA_DIR=/{path_of_data}/
OUTPUT_DIR=/{path_of_fine-tuned_model}/
MODEL_PATH=/{path_of_pre-trained_model}/

python ./examples/run_xnli.py --model_type minilm \
 --output_dir ${OUTPUT_DIR} --data_dir ${DATA_DIR} \
 --model_name_or_path microsoft/Multilingual-MiniLM-L12-H384 \
 --tokenizer_name xlm-roberta-base \
 --config_name ${MODEL_PATH}/multilingual-minilm-l12-h384-config.json \
 --do_train \
 --do_eval \
 --max_seq_length 128 \
 --per_gpu_train_batch_size 128 \
 --learning_rate 5e-5 \
 --num_train_epochs 5 \
 --per_gpu_eval_batch_size 32 \
 --weight_decay 0.001 \
 --warmup_steps 500 \
 --save_steps 1500 \
 --logging_steps 1500 \
 --eval_all_checkpoints \
 --language en \
 --fp16 \
 --fp16_opt_level O2

跨语言问答 - MLQA

遵循Lewis等人（2019b）的方法，我们采用SQuAD 1.1作为训练数据，并使用MLQA英语开发数据进行提前停止。

📄 许可证

本项目采用MIT许可证。

📖 引用

如果您在研究中发现MiniLM很有用，请引用以下论文：

@misc{wang2020minilm,
    title={MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers},
    author={Wenhui Wang and Furu Wei and Li Dong and Hangbo Bao and Nan Yang and Ming Zhou},
    year={2020},
    eprint={2002.10957},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}