Bert Base Spanish Wwm Cased Finetuned Spa Squad2 Es

🚀 BETO (西班牙語BERT) + 西班牙語SQuAD2.0

本模型由 BETO團隊 提供，並在 SQuAD-es-v2.0 數據集上針對問答下游任務進行了微調。該模型可有效解決西班牙語問答任務，為相關領域的應用提供了有力支持。

✨ 主要特性

• 基於BETO模型，在大規模西班牙語語料上預訓練。
• 針對西班牙語SQuAD2.0數據集微調，適用於問答任務。
• 提供了詳細的訓練命令和評估結果。

📦 安裝指南

文檔未提及安裝步驟，暫無法提供相關內容。

💻 使用示例

基礎用法

模型訓練命令如下：

export SQUAD_DIR=path/to/nl_squad
python transformers/examples/question-answering/run_squad.py \
  --model_type bert \
  --model_name_or_path dccuchile/bert-base-spanish-wwm-cased \
  --do_train \
  --do_eval \
  --do_lower_case \
  --train_file $SQUAD_DIR/train_nl-v2.0.json \
  --predict_file $SQUAD_DIR/dev_nl-v2.0.json \
  --per_gpu_train_batch_size 12 \
  --learning_rate 3e-5 \
  --num_train_epochs 2.0 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir /content/model_output \
  --save_steps 5000 \
  --threads 4 \
  --version_2_with_negative 

高級用法

在Colab Notebook中使用模型：

1. 設置上下文並提出問題：
2. 運行預測：

📚 詳細文檔

語言模型（'dccuchile/bert-base-spanish-wwm-cased'）詳情

語言模型 ('dccuchile/bert-base-spanish-wwm-cased')： BETO是一個在 大型西班牙語語料庫 上訓練的 BERT模型。BETO的規模與BERT-Base相似，並使用了全詞掩碼（Whole Word Masking）技術進行訓練。以下是未小寫和小寫版本的Tensorflow和Pytorch檢查點，以及一些西班牙語基準測試結果，將BETO與 多語言BERT 以及其他（非基於BERT）模型進行了比較。

下游任務（問答）詳情 - 數據集

SQuAD-es-v2.0

模型訓練

該模型在配備25GB內存的Tesla P100 GPU上使用以下命令進行訓練：

export SQUAD_DIR=path/to/nl_squad
python transformers/examples/question-answering/run_squad.py \
  --model_type bert \
  --model_name_or_path dccuchile/bert-base-spanish-wwm-cased \
  --do_train \
  --do_eval \
  --do_lower_case \
  --train_file $SQUAD_DIR/train_nl-v2.0.json \
  --predict_file $SQUAD_DIR/dev_nl-v2.0.json \
  --per_gpu_train_batch_size 12 \
  --learning_rate 3e-5 \
  --num_train_epochs 2.0 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir /content/model_output \
  --save_steps 5000 \
  --threads 4 \
  --version_2_with_negative 

結果

{
  "exact": 76.50501430594491,
  "f1": 86.07818773108252,
  "total": 69202,
  "HasAns_exact": 67.93020719738277,
  "HasAns_f1": 82.37912207996466,
  "HasAns_total": 45850,
  "NoAns_exact": 93.34104145255225,
  "NoAns_f1": 93.34104145255225,
  "NoAns_total": 23352,
  "best_exact": 76.51223953064941,
  "best_exact_thresh": 0.0,
  "best_f1": 86.08541295578848,
  "best_f1_thresh": 0.0
}

模型實際應用（在Colab Notebook中）

由 Manuel Romero/@mrm8488 創建 於西班牙用心打造 ♥