Bert Base Multilingual Cased Finetuned Polish Squad1

🚀 マルチリンガル + ポーランド語SQuAD1.1

このモデルは、Googleの研究チームが提供するマルチリンガルモデルを、ポーランド語の質問応答下流タスクでファインチューニングしたものです。

📚 言語モデルの詳細

言語モデル (bert-base-multilingual-cased): 12層、768隠れ層、12ヘッド、1億1000万のパラメータ。 Wikipediaの記事数が最も多い上位104言語の大文字小文字を区別するテキストで学習されています。

📦 下流タスクの詳細

mtranslate Pythonモジュールを使用して、SQuAD1.1 を機械翻訳しました。開始トークンを見つけるために、回答の直接翻訳を対応する段落で検索しました。文脈によって翻訳が異なるため（純粋な回答には文脈が欠けている）、回答がテキスト内で見つからないことがあり、質問応答の例が失われることがあります。これは、データセットにエラーが発生する潜在的な問題です。

📊 モデルのベンチマーク

🔧 モデルの学習

このモデルは、Tesla V100 GPU上で以下のコマンドを使用して学習されました。

export SQUAD_DIR=path/to/pl_squad

python run_squad.py 
  --model_type bert \
  --model_name_or_path bert-base-multilingual-cased \
  --do_train \
  --do_eval \
  --train_file $SQUAD_DIR/pl_squadv1_train_clean.json \
  --predict_file $SQUAD_DIR/pl_squadv1_dev_clean.json \
  --num_train_epochs 2 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --save_steps=8000 \
  --output_dir ../../output \
  --overwrite_cache \
  --overwrite_output_dir

結果:

{'exact': 60.670731707317074, 'f1': 71.8952193697293, 'total': 2624, 'HasAns_exact': 60.670731707317074, 'HasAns_f1': 71.8952193697293, 'HasAns_total': 2624, 'best_exact': 60.670731707317074, 'best_exact_thresh': 0.0, 'best_f1': 71.8952193697293, 'best_f1_thresh': 0.0}

💻 使用例

基本的な使用法

パイプラインを使用した高速な使い方:

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="henryk/bert-base-multilingual-cased-finetuned-polish-squad1",
    tokenizer="henryk/bert-base-multilingual-cased-finetuned-polish-squad1"
)

qa_pipeline({
    'context': "Warszawa jest największym miastem w Polsce pod względem liczby ludności i powierzchni",
    'question': "Jakie jest największe miasto w Polsce?"})

出力:

{
  "score": 0.9988,
  "start": 0, 
  "end": 8,
  "answer": "Warszawa"
}

📞 連絡先

ポーランド語版のSQuADについて議論したい場合やアクセスしたい場合は、LinkedIn を通じてご連絡ください。