🚀 BETO (西班牙语BERT) + 西班牙语SQuAD2.0
本模型由 BETO团队 提供,并在 SQuAD-es-v2.0 数据集上针对问答下游任务进行了微调。该模型可有效解决西班牙语问答任务,为相关领域的应用提供了有力支持。
✨ 主要特性
- 基于BETO模型,在大规模西班牙语语料上预训练。
- 针对西班牙语SQuAD2.0数据集微调,适用于问答任务。
- 提供了详细的训练命令和评估结果。
📦 安装指南
文档未提及安装步骤,暂无法提供相关内容。
💻 使用示例
基础用法
模型训练命令如下:
export SQUAD_DIR=path/to/nl_squad
python transformers/examples/question-answering/run_squad.py \
--model_type bert \
--model_name_or_path dccuchile/bert-base-spanish-wwm-cased \
--do_train \
--do_eval \
--do_lower_case \
--train_file $SQUAD_DIR/train_nl-v2.0.json \
--predict_file $SQUAD_DIR/dev_nl-v2.0.json \
--per_gpu_train_batch_size 12 \
--learning_rate 3e-5 \
--num_train_epochs 2.0 \
--max_seq_length 384 \
--doc_stride 128 \
--output_dir /content/model_output \
--save_steps 5000 \
--threads 4 \
--version_2_with_negative
高级用法
在Colab Notebook中使用模型:
- 设置上下文并提出问题:

- 运行预测:

📚 详细文档
语言模型('dccuchile/bert-base-spanish-wwm-cased')详情
语言模型 ('dccuchile/bert-base-spanish-wwm-cased'):
BETO是一个在 大型西班牙语语料库 上训练的 BERT模型。BETO的规模与BERT-Base相似,并使用了全词掩码(Whole Word Masking)技术进行训练。以下是未小写和小写版本的Tensorflow和Pytorch检查点,以及一些西班牙语基准测试结果,将BETO与 多语言BERT 以及其他(非基于BERT)模型进行了比较。
下游任务(问答)详情 - 数据集
SQuAD-es-v2.0
属性 |
详情 |
数据集 |
问答数量 |
SQuAD2.0训练集 |
130K |
SQuAD2.0-es-v2.0 |
111K |
SQuAD2.0验证集 |
12K |
SQuAD-es-v2.0-small验证集 |
69K |
模型训练
该模型在配备25GB内存的Tesla P100 GPU上使用以下命令进行训练:
export SQUAD_DIR=path/to/nl_squad
python transformers/examples/question-answering/run_squad.py \
--model_type bert \
--model_name_or_path dccuchile/bert-base-spanish-wwm-cased \
--do_train \
--do_eval \
--do_lower_case \
--train_file $SQUAD_DIR/train_nl-v2.0.json \
--predict_file $SQUAD_DIR/dev_nl-v2.0.json \
--per_gpu_train_batch_size 12 \
--learning_rate 3e-5 \
--num_train_epochs 2.0 \
--max_seq_length 384 \
--doc_stride 128 \
--output_dir /content/model_output \
--save_steps 5000 \
--threads 4 \
--version_2_with_negative
结果
指标 |
值 |
精确匹配率 |
76.5050 |
F1值 |
86.0781 |
{
"exact": 76.50501430594491,
"f1": 86.07818773108252,
"total": 69202,
"HasAns_exact": 67.93020719738277,
"HasAns_f1": 82.37912207996466,
"HasAns_total": 45850,
"NoAns_exact": 93.34104145255225,
"NoAns_f1": 93.34104145255225,
"NoAns_total": 23352,
"best_exact": 76.51223953064941,
"best_exact_thresh": 0.0,
"best_f1": 86.08541295578848,
"best_f1_thresh": 0.0
}
模型实际应用(在Colab Notebook中)
1. 设置上下文并提出问题:

2. 运行预测:

由 Manuel Romero/@mrm8488 创建
于西班牙用心打造 ♥