Roberta Base Squad V1

🚀 SQuAD v1で微調整されたRoBERTa-baseモデル

このモデルは、HuggingFaceのRoBERTaのベースチェックポイントに基づき、SQuAD1.1データセットで微調整されています。このモデルは大文字小文字を区別します。例えば、「english」と「English」は異なるものとして扱われます。

🚀 クイックスタート

このモデルは、SQuAD1.1データセットでRoBERTa-baseを微調整したもので、質問応答タスクに使用できます。

✨ 主な機能

• RoBERTa-baseモデルをベースに微調整されており、SQuAD v1データセットで良好な性能を発揮します。
• モデルは大文字小文字を区別するため、テキストをより正確に処理できます。

📦 インストール

このモデルを使用する前に、関連する依存関係をインストールする必要があります。以下の手順を参考にしてください。

# インストールhttps://github.com/huggingface/transformers
cd examples/question-answering
mkdir -p data

wget -O data/train-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v1.1.json

wget -O data/dev-v1.1.json  https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v1.1.json

💻 使用例

基本的な使用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="csarron/roberta-base-squad-v1",
    tokenizer="csarron/roberta-base-squad-v1"
)

predictions = qa_pipeline({
    'context': "The game was played on February 7, 2016 at Levi's Stadium in the San Francisco Bay Area at Santa Clara, California.",
    'question': "What day was the game played on?"
})

print(predictions)
# output:
# {'score': 0.8625259399414062, 'start': 23, 'end': 39, 'answer': 'February 7, 2016'}

📚 ドキュメント

データセットの詳細

微調整の詳細

• Pythonバージョン：3.7.5
• マシン仕様：
  • CPU：Intel(R) Core(TM) i7 - 6800K CPU @ 3.40GHz
  • メモリ：32 GiB
  • GPU：GeForce GTX 1070 2枚、各々のメモリは8GiB
  • GPUドライバ：418.87.01、CUDA：10.1
• スクリプト：

# インストールhttps://github.com/huggingface/transformersの後

cd examples/question-answering
mkdir -p data

wget -O data/train-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v1.1.json

wget -O data/dev-v1.1.json  https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v1.1.json

python run_energy_squad.py \
    --model_type roberta \
    --model_name_or_path roberta-base \
    --do_train \
    --do_eval \
    --train_file train-v1.1.json \
    --predict_file dev-v1.1.json \
    --per_gpu_train_batch_size 12 \
    --per_gpu_eval_batch_size 16 \
    --learning_rate 3e-5 \
    --num_train_epochs 2.0 \
    --max_seq_length 320 \
    --doc_stride 128 \
    --data_dir data \
    --output_dir data/roberta-base-squad-v1 2>&1 | tee train-roberta-base-squad-v1.log

微調整には約2時間かかります。

結果

モデルサイズ：477M

なお、上記の結果は、ハイパーパラメータの探索を行っていません。

📄 ライセンス

このプロジェクトはMITライセンスを採用しています。

Qingqing Caoによって作成 | GitHub | Twitter

ニューヨークで誠意を持って作られました。