Bert Base Uncased Squadv1 X2.32 F86.6 D15 Hybrid V1

🚀 BERT-base uncasedモデルをSQuAD v1でファインチューニング

このモデルは、nn_pruning Pythonライブラリを使用して作成されました。線形層は元の重みの15.0% を含んでいます。

モデル全体では、元の重みの 34.0% を保持しています（埋め込み層はモデルの大部分を占め、この方法では剪定されません）。

線形行列を単純にリサイズすることで、評価時に bert-base-uncasedの2.32倍の速度 で実行されます。 これは、剪定方法によって構造化された行列が得られるため可能です。各行列の非ゼロ/ゼロ部分を可視化するには、下のプロットにホバーしてください。

精度に関しては、F1スコアが86.64 で、bert-base-uncasedの88.5と比較して、F1スコアが1.86低下 しています。

🔧 ファイン剪定の詳細

このモデルは、HuggingFaceの モデル チェックポイントを SQuAD1.1 でファインチューニングし、bert-large-uncased-whole-word-masking-finetuned-squad モデルから知識蒸留したものです。 このモデルは大文字と小文字を区別しません。

ブロック剪定の副作用として、一部のアテンションヘッドが完全に削除されます。合計144個のヘッドのうち、63個（43.8%）が削除されました。 以下は、剪定後のネットワーク内の残りのヘッドの分布の詳細です。

📚 SQuAD1.1データセットの詳細

ファインチューニング

• Python: 3.8.5

• マシンスペック:

Memory: 64 GiB
GPUs: 1 GeForce GTX 3090, with 24GiB memory
GPU driver: 455.23.05, CUDA: 11.1

結果

Pytorchモデルファイルサイズ: 368MB (元のBERT: 420MB)

💻 使用例

基本的な使用法

まず、nn_pruningをインストールします。これには、空の行/列を削除して線形層を小さな行列にパックする最適化スクリプトが含まれています。

pip install nn_pruning

次に、transformersライブラリ をほぼ通常通りに使用できます。パイプラインが読み込まれたときに optimize_model を呼び出すだけです。

from transformers import pipeline
from nn_pruning.inference_model_patcher import optimize_model

qa_pipeline = pipeline(
    "question-answering",
    model="madlag/bert-base-uncased-squadv1-x2.32-f86.6-d15-hybrid-v1",
    tokenizer="madlag/bert-base-uncased-squadv1-x2.32-f86.6-d15-hybrid-v1"
)

print("bert-base-uncased parameters: 165.0M")
print(f"Parameters count (includes only head pruning, not feed forward pruning)={int(qa_pipeline.model.num_parameters() / 1E6)}M")
qa_pipeline.model = optimize_model(qa_pipeline.model, "dense")

print(f"Parameters count after complete optimization={int(qa_pipeline.model.num_parameters() / 1E6)}M")
predictions = qa_pipeline({
    'context': "Frédéric François Chopin, born Fryderyk Franciszek Chopin (1 March 1810 – 17 October 1849), was a Polish composer and virtuoso pianist of the Romantic era who wrote primarily for solo piano.",
    'question': "Who is Frederic Chopin?",
})
print("Predictions", predictions)

📄 ライセンス

このモデルはMITライセンスの下で提供されています。