🚀 BETO (西班牙語BERT) + 西班牙語SQuAD2.0
本模型由 BETO團隊 提供,並在 SQuAD-es-v2.0 數據集上針對問答下游任務進行了微調。該模型可有效解決西班牙語問答任務,為相關領域的應用提供了有力支持。
✨ 主要特性
- 基於BETO模型,在大規模西班牙語語料上預訓練。
- 針對西班牙語SQuAD2.0數據集微調,適用於問答任務。
- 提供了詳細的訓練命令和評估結果。
📦 安裝指南
文檔未提及安裝步驟,暫無法提供相關內容。
💻 使用示例
基礎用法
模型訓練命令如下:
export SQUAD_DIR=path/to/nl_squad
python transformers/examples/question-answering/run_squad.py \
--model_type bert \
--model_name_or_path dccuchile/bert-base-spanish-wwm-cased \
--do_train \
--do_eval \
--do_lower_case \
--train_file $SQUAD_DIR/train_nl-v2.0.json \
--predict_file $SQUAD_DIR/dev_nl-v2.0.json \
--per_gpu_train_batch_size 12 \
--learning_rate 3e-5 \
--num_train_epochs 2.0 \
--max_seq_length 384 \
--doc_stride 128 \
--output_dir /content/model_output \
--save_steps 5000 \
--threads 4 \
--version_2_with_negative
高級用法
在Colab Notebook中使用模型:
- 設置上下文並提出問題:

- 運行預測:

📚 詳細文檔
語言模型('dccuchile/bert-base-spanish-wwm-cased')詳情
語言模型 ('dccuchile/bert-base-spanish-wwm-cased'):
BETO是一個在 大型西班牙語語料庫 上訓練的 BERT模型。BETO的規模與BERT-Base相似,並使用了全詞掩碼(Whole Word Masking)技術進行訓練。以下是未小寫和小寫版本的Tensorflow和Pytorch檢查點,以及一些西班牙語基準測試結果,將BETO與 多語言BERT 以及其他(非基於BERT)模型進行了比較。
下游任務(問答)詳情 - 數據集
SQuAD-es-v2.0
屬性 |
詳情 |
數據集 |
問答數量 |
SQuAD2.0訓練集 |
130K |
SQuAD2.0-es-v2.0 |
111K |
SQuAD2.0驗證集 |
12K |
SQuAD-es-v2.0-small驗證集 |
69K |
模型訓練
該模型在配備25GB內存的Tesla P100 GPU上使用以下命令進行訓練:
export SQUAD_DIR=path/to/nl_squad
python transformers/examples/question-answering/run_squad.py \
--model_type bert \
--model_name_or_path dccuchile/bert-base-spanish-wwm-cased \
--do_train \
--do_eval \
--do_lower_case \
--train_file $SQUAD_DIR/train_nl-v2.0.json \
--predict_file $SQUAD_DIR/dev_nl-v2.0.json \
--per_gpu_train_batch_size 12 \
--learning_rate 3e-5 \
--num_train_epochs 2.0 \
--max_seq_length 384 \
--doc_stride 128 \
--output_dir /content/model_output \
--save_steps 5000 \
--threads 4 \
--version_2_with_negative
結果
指標 |
值 |
精確匹配率 |
76.5050 |
F1值 |
86.0781 |
{
"exact": 76.50501430594491,
"f1": 86.07818773108252,
"total": 69202,
"HasAns_exact": 67.93020719738277,
"HasAns_f1": 82.37912207996466,
"HasAns_total": 45850,
"NoAns_exact": 93.34104145255225,
"NoAns_f1": 93.34104145255225,
"NoAns_total": 23352,
"best_exact": 76.51223953064941,
"best_exact_thresh": 0.0,
"best_f1": 86.08541295578848,
"best_f1_thresh": 0.0
}
模型實際應用(在Colab Notebook中)
1. 設置上下文並提出問題:

2. 運行預測:

由 Manuel Romero/@mrm8488 創建
於西班牙用心打造 ♥