🚀 SQuAD v1で微調整されたRoBERTa-baseモデル
このモデルは、HuggingFaceのRoBERTaのベースチェックポイントに基づき、SQuAD1.1データセットで微調整されています。このモデルは大文字小文字を区別します。例えば、「english」と「English」は異なるものとして扱われます。
🚀 クイックスタート
このモデルは、SQuAD1.1データセットでRoBERTa-baseを微調整したもので、質問応答タスクに使用できます。
✨ 主な機能
- RoBERTa-baseモデルをベースに微調整されており、SQuAD v1データセットで良好な性能を発揮します。
- モデルは大文字小文字を区別するため、テキストをより正確に処理できます。
📦 インストール
このモデルを使用する前に、関連する依存関係をインストールする必要があります。以下の手順を参考にしてください。
# インストールhttps://github.com/huggingface/transformers
cd examples/question-answering
mkdir -p data
wget -O data/train-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v1.1.json
wget -O data/dev-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v1.1.json
💻 使用例
基本的な使用法
from transformers import pipeline
qa_pipeline = pipeline(
"question-answering",
model="csarron/roberta-base-squad-v1",
tokenizer="csarron/roberta-base-squad-v1"
)
predictions = qa_pipeline({
'context': "The game was played on February 7, 2016 at Levi's Stadium in the San Francisco Bay Area at Santa Clara, California.",
'question': "What day was the game played on?"
})
print(predictions)
📚 ドキュメント
データセットの詳細
データセット |
分割 |
サンプル数 |
SQuAD1.1 |
訓練セット |
96.8K |
SQuAD1.1 |
評価セット |
11.8k |
微調整の詳細
- Pythonバージョン:
3.7.5
- マシン仕様:
CPU
:Intel(R) Core(TM) i7 - 6800K CPU @ 3.40GHz
メモリ
:32 GiB
GPU
:GeForce GTX 1070 2枚、各々のメモリは8GiB
GPUドライバ
:418.87.01、CUDA:10.1
- スクリプト:
# インストールhttps://github.com/huggingface/transformersの後
cd examples/question-answering
mkdir -p data
wget -O data/train-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v1.1.json
wget -O data/dev-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v1.1.json
python run_energy_squad.py \
--model_type roberta \
--model_name_or_path roberta-base \
--do_train \
--do_eval \
--train_file train-v1.1.json \
--predict_file dev-v1.1.json \
--per_gpu_train_batch_size 12 \
--per_gpu_eval_batch_size 16 \
--learning_rate 3e-5 \
--num_train_epochs 2.0 \
--max_seq_length 320 \
--doc_stride 128 \
--data_dir data \
--output_dir data/roberta-base-squad-v1 2>&1 | tee train-roberta-base-squad-v1.log
微調整には約2時間かかります。
結果
モデルサイズ:477M
なお、上記の結果は、ハイパーパラメータの探索を行っていません。
📄 ライセンス
このプロジェクトはMITライセンスを採用しています。
Qingqing Caoによって作成 | GitHub | Twitter
ニューヨークで誠意を持って作られました。