Distilbert Base Uncased Mnli

🚀 ONNX轉換typeform/distilbert-base-uncased-mnli

本項目主要是將typeform/distilbert-base-uncased-mnli模型進行ONNX轉換。該模型是基於無大小寫區分的DistilBERT模型，在多類型自然語言推理（MNLI）數據集上進行微調，用於零樣本分類任務。此模型不區分大小寫，例如“english”和“English”對它來說是相同的。

🚀 快速開始

模型介紹

這是在無大小寫區分的DistilBERT模型基礎上，針對多類型自然語言推理（MNLI）數據集進行微調的模型，用於零樣本分類任務。該模型對大小寫不敏感。

訓練信息

訓練是在AWS EC2的p3.2xlarge實例（配備1塊NVIDIA Tesla V100 GPU）上完成的，使用了以下超參數：

$ run_glue.py \
    --model_name_or_path distilbert-base-uncased \
    --task_name mnli \
    --do_train \
    --do_eval \
    --max_seq_length 128 \
    --per_device_train_batch_size 16 \
    --learning_rate 2e-5 \
    --num_train_epochs 5 \
    --output_dir /tmp/distilbert-base-uncased_mnli/

評估結果

📦 模型信息