Distilbert Base Uncased Mnli

🚀 ONNX转换typeform/distilbert-base-uncased-mnli

本项目主要是将typeform/distilbert-base-uncased-mnli模型进行ONNX转换。该模型是基于无大小写区分的DistilBERT模型，在多类型自然语言推理（MNLI）数据集上进行微调，用于零样本分类任务。此模型不区分大小写，例如“english”和“English”对它来说是相同的。

🚀 快速开始

模型介绍

这是在无大小写区分的DistilBERT模型基础上，针对多类型自然语言推理（MNLI）数据集进行微调的模型，用于零样本分类任务。该模型对大小写不敏感。

训练信息

训练是在AWS EC2的p3.2xlarge实例（配备1块NVIDIA Tesla V100 GPU）上完成的，使用了以下超参数：

$ run_glue.py \
    --model_name_or_path distilbert-base-uncased \
    --task_name mnli \
    --do_train \
    --do_eval \
    --max_seq_length 128 \
    --per_device_train_batch_size 16 \
    --learning_rate 2e-5 \
    --num_train_epochs 5 \
    --output_dir /tmp/distilbert-base-uncased_mnli/

评估结果

📦 模型信息