Distilbert Base Uncased Mnli

🚀 ONNX convert typeform/distilbert-base-uncased-mnli

このプロジェクトは、ゼロショット分類タスクに特化したモデルを対象としており、Multi-Genre Natural Language Inference (MNLI) データセットで微調整された uncased DistilBERT モデル を活用しています。このモデルは大文字と小文字を区別せず、"english" と "English" を同じとみなします。

🚀 クイックスタート

このモデルは、ゼロショット分類タスクにおいて高性能を発揮します。以下に、このモデルの概要を説明します。

✨ 主な機能

• ゼロショット分類タスクに最適化されたモデルです。
• 大文字と小文字を区別しないため、使いやすいです。

📦 インストール

このモデルを使用するには、以下の手順でトレーニングを行います。トレーニングは p3.2xlarge AWS EC2 インスタンス (1 NVIDIA Tesla V100 GPU) で行われ、以下のハイパーパラメータが使用されます。

$ run_glue.py \
    --model_name_or_path distilbert-base-uncased \
    --task_name mnli \
    --do_train \
    --do_eval \
    --max_seq_length 128 \
    --per_device_train_batch_size 16 \
    --learning_rate 2e-5 \
    --num_train_epochs 5 \
    --output_dir /tmp/distilbert-base-uncased_mnli/

📚 ドキュメント

評価結果

以下は、このモデルの評価結果です。

📄 ライセンス

原文書にライセンス情報は記載されていません。