Bert Base Uncased Squad V1 Sparse0.25

🚀 BERT-base uncasedモデルをSQuAD v1でファインチューニング

このモデルはブロックスパースです。 これは、適切なランタイムを使用することで、元の重みの25%で、密なネットワークよりも約3倍高速に実行できることを意味します。 もちろん、これは精度にいくらかの影響を与えます（下記参照）。 このモデルは、Victor SanhのMovement Pruning手法の修正版を使用しています。 このモデルは、HuggingFaceのBERTベースの大文字小文字を区別しないチェックポイントを SQuAD1.1でファインチューニングしたものです。 このモデルは大文字小文字を区別しません。つまり、「english」と「English」を区別しません。

📚 詳細

ファインチューニング

• Python: 3.8.5
• マシン仕様: CPU: Intel(R) Core(TM) i7 - 6700K CPU メモリ: 64 GiB GPU: 1 GeForce GTX 3090、メモリ24GiB GPUドライバ: 455.23.05、CUDA: 11.1

結果

モデルサイズ: 418M

上記の結果には、ハイパーパラメータの探索は含まれていません。

💻 使用例

基本的な使用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="madlag/bert-base-uncased-squad-v1-sparse0.25",
    tokenizer="madlag/bert-base-uncased-squad-v1-sparse0.25"
)

predictions = qa_pipeline({
    'context': "Frédéric François Chopin, born Fryderyk Franciszek Chopin (1 March 1810 – 17 October 1849), was a Polish composer and virtuoso pianist of the Romantic era who wrote primarily for solo piano.",
    'question': "Who is Frederic Chopin?",
})

print(predictions)

📄 ライセンス

このモデルはMITライセンスの下で提供されています。