Bert Base Multilingual Cased Finetuned Polish Squad1

🚀 多語言 + 波蘭語SQuAD1.1

本模型是谷歌研究團隊提供的多語言模型，針對波蘭語問答下游任務進行了微調。

📚 詳細文檔

語言模型詳情

語言模型（bert-base-multilingual-cased）： 12層，768個隱藏單元，12個注意力頭，1.1億個參數。 該模型在維基百科內容最多的前104種語言的大小寫文本上進行訓練。

下游任務詳情

使用mtranslate Python模塊對SQuAD1.1進行機器翻譯。為了找到起始標記，會在相應段落中搜索答案的直接翻譯。由於翻譯會因上下文不同而有所差異（純答案中缺少上下文），並非總能在文本中找到答案，從而導致問答示例的丟失。這是數據集中可能出現錯誤的一個潛在問題。

模型基準測試

模型訓練

該模型在Tesla V100 GPU上使用以下命令進行訓練：

export SQUAD_DIR=path/to/pl_squad

python run_squad.py 
  --model_type bert 
  --model_name_or_path bert-base-multilingual-cased 
  --do_train 
  --do_eval 
  --train_file $SQUAD_DIR/pl_squadv1_train_clean.json 
  --predict_file $SQUAD_DIR/pl_squadv1_dev_clean.json 
  --num_train_epochs 2 
  --max_seq_length 384 
  --doc_stride 128 
  --save_steps=8000 
  --output_dir ../../output 
  --overwrite_cache 
  --overwrite_output_dir

結果：

{'exact': 60.670731707317074, 'f1': 71.8952193697293, 'total': 2624, 'HasAns_exact': 60.670731707317074, 'HasAns_f1': 71.8952193697293,
'HasAns_total': 2624, 'best_exact': 60.670731707317074, 'best_exact_thresh': 0.0, 'best_f1': 71.8952193697293, 'best_f1_thresh': 0.0}

模型使用示例

基礎用法

使用pipelines快速使用模型：

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="henryk/bert-base-multilingual-cased-finetuned-polish-squad1",
    tokenizer="henryk/bert-base-multilingual-cased-finetuned-polish-squad1"
)

qa_pipeline({
    'context': "Warszawa jest największym miastem w Polsce pod względem liczby ludności i powierzchni",
    'question': "Jakie jest największe miasto w Polsce?"})

輸出示例

{
  "score": 0.9988,
  "start": 0, 
  "end": 8,
  "answer": "Warszawa"
}

📞 聯繫我們

如果您想討論或獲取波蘭語版SQuAD，請隨時通過領英與我聯繫。