Bert Base Spanish Wwm Cased Finetuned Spa Squad2 Es

🚀 BETO (西班牙语BERT) + 西班牙语SQuAD2.0

本模型由 BETO团队 提供，并在 SQuAD-es-v2.0 数据集上针对问答下游任务进行了微调。该模型可有效解决西班牙语问答任务，为相关领域的应用提供了有力支持。

✨ 主要特性

• 基于BETO模型，在大规模西班牙语语料上预训练。
• 针对西班牙语SQuAD2.0数据集微调，适用于问答任务。
• 提供了详细的训练命令和评估结果。

📦 安装指南

文档未提及安装步骤，暂无法提供相关内容。

💻 使用示例

基础用法

模型训练命令如下：

export SQUAD_DIR=path/to/nl_squad
python transformers/examples/question-answering/run_squad.py \
  --model_type bert \
  --model_name_or_path dccuchile/bert-base-spanish-wwm-cased \
  --do_train \
  --do_eval \
  --do_lower_case \
  --train_file $SQUAD_DIR/train_nl-v2.0.json \
  --predict_file $SQUAD_DIR/dev_nl-v2.0.json \
  --per_gpu_train_batch_size 12 \
  --learning_rate 3e-5 \
  --num_train_epochs 2.0 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir /content/model_output \
  --save_steps 5000 \
  --threads 4 \
  --version_2_with_negative 

高级用法

在Colab Notebook中使用模型：

1. 设置上下文并提出问题：
2. 运行预测：

📚 详细文档

语言模型（'dccuchile/bert-base-spanish-wwm-cased'）详情

语言模型 ('dccuchile/bert-base-spanish-wwm-cased')： BETO是一个在 大型西班牙语语料库 上训练的 BERT模型。BETO的规模与BERT-Base相似，并使用了全词掩码（Whole Word Masking）技术进行训练。以下是未小写和小写版本的Tensorflow和Pytorch检查点，以及一些西班牙语基准测试结果，将BETO与 多语言BERT 以及其他（非基于BERT）模型进行了比较。

下游任务（问答）详情 - 数据集

SQuAD-es-v2.0

模型训练

该模型在配备25GB内存的Tesla P100 GPU上使用以下命令进行训练：

export SQUAD_DIR=path/to/nl_squad
python transformers/examples/question-answering/run_squad.py \
  --model_type bert \
  --model_name_or_path dccuchile/bert-base-spanish-wwm-cased \
  --do_train \
  --do_eval \
  --do_lower_case \
  --train_file $SQUAD_DIR/train_nl-v2.0.json \
  --predict_file $SQUAD_DIR/dev_nl-v2.0.json \
  --per_gpu_train_batch_size 12 \
  --learning_rate 3e-5 \
  --num_train_epochs 2.0 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir /content/model_output \
  --save_steps 5000 \
  --threads 4 \
  --version_2_with_negative 

结果

{
  "exact": 76.50501430594491,
  "f1": 86.07818773108252,
  "total": 69202,
  "HasAns_exact": 67.93020719738277,
  "HasAns_f1": 82.37912207996466,
  "HasAns_total": 45850,
  "NoAns_exact": 93.34104145255225,
  "NoAns_f1": 93.34104145255225,
  "NoAns_total": 23352,
  "best_exact": 76.51223953064941,
  "best_exact_thresh": 0.0,
  "best_f1": 86.08541295578848,
  "best_f1_thresh": 0.0
}

模型实际应用（在Colab Notebook中）

由 Manuel Romero/@mrm8488 创建 于西班牙用心打造 ♥