Distill Bert Base Spanish Wwm Cased Finetuned Spa Squad2 Es

🚀 BETO (スペイン語版BERT) + スペイン語版SQuAD2.0 + 'bert-base-multilingual-cased'を教師モデルとした蒸留

このモデルは、SQuAD-es-v2.0 でファインチューニングされ、BETO を蒸留した質問応答 (Q&A) 用のモデルです。

蒸留により、このモデルは bert-base-spanish-wwm-cased-finetuned-spa-squad2-es よりも小さく、高速で、安価で、軽量になっています。

このモデルは同じデータセットでファインチューニングされていますが、上記のようにプロセス中に蒸留を使用し（さらに1エポックのトレーニングを行っています）。

蒸留の教師モデルは bert-base-multilingual-cased です。これは distilbert-base-multilingual-cased すなわち DistilmBERT で使用されている教師モデルと同じです（平均して mBERT-base の2倍の速度です）。

🚀 クイックスタート

このモデルは、質問応答タスクに最適化されており、蒸留技術を用いることで高速かつ軽量になっています。以下では、モデルの詳細、トレーニング方法、使用例について説明します。

✨ 主な機能

• 蒸留技術の活用：教師モデル bert-base-multilingual-cased を用いて蒸留を行い、モデルを小さく、高速で、安価で、軽量にしています。
• 質問応答タスクへの最適化：スペイン語版のSQuAD2.0データセットでファインチューニングされており、質問応答タスクに適しています。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを実行してください。

pip install transformers

💻 使用例

基本的な使用法

from transformers import *

# 重要!: 現時点では、QAパイプラインは高速トークナイザと互換性がありませんが、開発中です。そのため、以下の例のように、トークナイザに {"use_fast": False} を渡してください。

nlp = pipeline(
    'question-answering', 
    model='mrm8488/distill-bert-base-spanish-wwm-cased-finetuned-spa-squad2-es',
    tokenizer=(
        'mrm8488/distill-bert-base-spanish-wwm-cased-finetuned-spa-squad2-es',  
        {"use_fast": False}
    )
)

nlp(
    {
        'question': '¿Para qué lenguaje está trabajando?',
        'context': 'Manuel Romero está colaborando activamente con huggingface/transformers ' +
                    'para traer el poder de las últimas técnicas de procesamiento de lenguaje natural al idioma español'
    }
)
# 出力: {'answer': 'español', 'end': 169, 'score': 0.67530957344621, 'start': 163}

コラボでの使用

このモデルと pipelines をコラボで試すことができます。以下のリンクからコラボを開いてください。

Huggingface pipelines の詳細については、以下のコラボを参照してください。

📚 ドキュメント

下流タスク (Q&A) - データセットの詳細

モデルのトレーニング

このモデルは、Tesla P100 GPUと25GBのRAMを使用して、以下のコマンドでトレーニングされました。

!export SQUAD_DIR=/path/to/squad-v2_spanish \
&& python transformers/examples/distillation/run_squad_w_distillation.py \
  --model_type bert \
  --model_name_or_path dccuchile/bert-base-spanish-wwm-cased \
  --teacher_type bert \
  --teacher_name_or_path bert-base-multilingual-cased \
  --do_train \
  --do_eval \
  --do_lower_case \
  --train_file $SQUAD_DIR/train-v2.json \
  --predict_file $SQUAD_DIR/dev-v2.json \
  --per_gpu_train_batch_size 12 \
  --learning_rate 3e-5 \
  --num_train_epochs 5.0 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir /content/model_output \
  --save_steps 5000 \
  --threads 4 \
  --version_2_with_negative

🔧 技術詳細

• 教師モデル：bert-base-multilingual-cased を教師モデルとして使用し、蒸留を行っています。
• トレーニング環境：Tesla P100 GPUと25GBのRAMを使用してトレーニングを行っています。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で公開されています。

作成者: Manuel Romero/@mrm8488 スペインで ♥ を込めて作成