Roberta Base Bne Squad 2.0 Es

🚀 BSC - TeMU/roberta - base - bne模型

本項目的模型 [BSC - TeMU/roberta - base - bne](https://huggingface.co/BSC - TeMU/roberta - base - bne)（[源碼](https://github.com/PlanTL - SANIDAD/lm - spanish)）在 squad_es v2.0.0 數據集（源碼）上進行訓練。該模型可用於處理相關的問答任務，在特定數據集上展現出了一定的性能。

✨ 主要特性

• 基於roberta - base - bne架構，在西班牙語問答數據集上進行訓練。
• 取得了較好的評估指標，em（精確匹配率）達到58.80，f1（F1分數）達到67.40。

📦 安裝指南

文檔未提及安裝步驟，若需使用該模型，可參考其源碼倉庫 [lm - spanish](https://github.com/PlanTL - SANIDAD/lm - spanish) 中的說明進行安裝。

💻 使用示例

基礎用法

文檔未提供基礎用法的代碼示例，若要使用該模型，可參考其源碼倉庫或Hugging Face模型頁面的相關說明。

高級用法

文檔未提供高級用法的代碼示例，若有高級使用場景需求，可進一步探索模型的配置參數和功能。

📚 詳細文檔

當前成果

當前模型在評估中取得的成績為：em = 58.80，f1 = 67.40。

具體評估結果

{
    "epoch": 4.0,
    "eval_HasAns_exact": 48.51551956815115,
    "eval_HasAns_f1": 65.70745010262016,
    "eval_HasAns_total": 5928,
    "eval_NoAns_exact": 69.0893760539629,
    "eval_NoAns_f1": 69.0893760539629,
    "eval_NoAns_total": 5930,
    "eval_best_exact": 58.804182830156854,
    "eval_best_exact_thresh": 0.0,
    "eval_best_f1": 67.39869828034618,
    "eval_best_f1_thresh": 0.0,
    "eval_exact": 58.804182830156854,
    "eval_f1": 67.39869828034568,
    "eval_samples": 12211,
    "eval_total": 11858
}

訓練腳本

python -m torch.distributed.launch --nproc_per_node=3 ./run_qa.py \
    --model_name_or_path BSC - TeMU/roberta - base - bne \
    --dataset_name squad_es \
    --dataset_config_name v2.0.0 \
    --do_train \
    --do_eval \
    --learning_rate 3e - 5 \
    --num_train_epochs 4 \
    --max_seq_length 384 \
    --doc_stride 128 \
    --output_dir ./models/roberta - base - bne - squad - 2.0 - es/ \
    --per_device_eval_batch_size=8   \
    --per_device_train_batch_size=8   \
    --version_2_with_negative \
    --ddp_find_unused_parameters=False \
    --overwrite_output_dir \

🔧 技術細節

文檔未提供具體的技術實現細節，若想了解更多技術方面的內容，可查看其源碼倉庫。

📄 許可證

文檔未提及許可證信息。