Distill Bert Base Spanish Wwm Cased Finetuned Spa Squad2 Es

🚀 BETO（西班牙版BERT）+ 西班牙版SQuAD2.0 + 以 'bert-base-multilingual-cased' 為教師模型的蒸餾

本模型是在 SQuAD-es-v2.0 上進行微調，並針對問答任務對 BETO 進行蒸餾後的版本。

蒸餾操作讓該模型相較於 bert-base-spanish-wwm-cased-finetuned-spa-squad2-es 更小、更快、成本更低且更輕量。

此模型在相同的數據集上進行微調，但在過程中採用了上述的蒸餾操作（並且多進行了一個訓練輪次）。

蒸餾過程中的教師模型為 bert-base-multilingual-cased，這與 distilbert-base-multilingual-cased（即 DistilmBERT）所使用的教師模型相同（平均速度是 mBERT-base 的兩倍）。

🚀 快速開始

本模型可用於問答任務，下面將為你介紹使用方法。

✨ 主要特性

• 輕量高效：通過蒸餾操作，模型變得更小、更快、成本更低且更輕量。
• 微調優化：在 SQuAD-es-v2.0 數據集上進行微調，更適合西班牙文的問答任務。

📦 安裝指南

模型訓練使用以下命令在 Tesla P100 GPU 和 25GB 內存的環境中進行：

!export SQUAD_DIR=/path/to/squad-v2_spanish \
&& python transformers/examples/distillation/run_squad_w_distillation.py \
  --model_type bert \
  --model_name_or_path dccuchile/bert-base-spanish-wwm-cased \
  --teacher_type bert \
  --teacher_name_or_path bert-base-multilingual-cased \
  --do_train \
  --do_eval \
  --do_lower_case \
  --train_file $SQUAD_DIR/train-v2.json \
  --predict_file $SQUAD_DIR/dev-v2.json \
  --per_gpu_train_batch_size 12 \
  --learning_rate 3e-5 \
  --num_train_epochs 5.0 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir /content/model_output \
  --save_steps 5000 \
  --threads 4 \
  --version_2_with_negative

💻 使用示例

基礎用法

使用 pipelines 快速調用模型：

from transformers import *

# 重要提示！目前問答管道與快速分詞器不兼容，但開發團隊正在解決該問題。因此，需要像下面的示例一樣，將 {"use_fast": False} 對象傳遞給分詞器：

nlp = pipeline(
    'question-answering', 
    model='mrm8488/distill-bert-base-spanish-wwm-cased-finetuned-spa-squad2-es',
    tokenizer=(
        'mrm8488/distill-bert-base-spanish-wwm-cased-finetuned-spa-squad2-es',  
        {"use_fast": False}
    )
)

nlp(
    {
        'question': '¿Para qué lenguaje está trabajando?',
        'context': 'Manuel Romero está colaborando activamente con huggingface/transformers ' +
                    'para traer el poder de las últimas técnicas de procesamiento de lenguaje natural al idioma español'
    }
)
# 輸出: {'answer': 'español', 'end': 169, 'score': 0.67530957344621, 'start': 163}

你可以在 Colab 中嘗試使用此模型和 pipelines：

想了解更多關於 Huggingface pipelines 的信息？請查看這個 Colab：

📚 詳細文檔

下游任務（問答）詳情 - 數據集

模型訓練

模型在 Tesla P100 GPU 和 25GB 內存的環境中使用上述命令進行訓練。

結果

待補充

📄 許可證

本項目採用 Apache-2.0 許可證。

由 Manuel Romero/@mrm8488 創建 於西班牙用心打造 ❤️