Bert Base Uncased Squad1.1 Block Sparse 0.32 V1

🚀 BERT-base uncased model fine-tuned on SQuAD v1

このモデルはブロックスパースです。線形層には元の重みの**31.7%**が含まれています。

モデル全体では元の重みの**47.0%**が含まれています。

学習にはVictor SanhのMovement Pruning手法の修正版が使用されています。

これは、block-sparseランタイムを使用することで、評価時に密なネットワークよりも1.12倍高速に動作することを意味しますが、精度に若干の影響があります（下記参照）。

このモデルは、HuggingFaceのBERTベースの大文字小文字を区別しないチェックポイントを SQuAD1.1でファインチューニングし、同等のモデルcsarron/bert-base-uncased-squad-v1から蒸留されています。このモデルは大文字小文字を区別しません。つまり、englishとEnglishを区別しません。

🚀 クイックスタート

このモデルは、質問応答タスクに特化したBERTベースのモデルです。以下のセクションでは、モデルの詳細、トレーニング情報、使用例などを説明します。

✨ 主な機能

• ブロックスパース構造を持ち、一部の重みが削減されているため、高速な推論が可能です。
• SQuAD1.1データセットでファインチューニングされており、質問応答タスクに適しています。
• 大文字小文字を区別しないモデルです。

🔧 技術詳細

プルーニングの詳細

ブロックプルーニングの副作用として、一部のアテンションヘッドが完全に削除されます。合計144個のヘッドのうち80個（55.6%）が削除されました。

以下は、プルーニング後のネットワーク内の残りのヘッドの分布の詳細です。

密度プロット

詳細情報

ファインチューニング

• Python: 3.8.5
• マシンスペック:

CPU: Intel(R) Core(TM) i7-6700K CPU
メモリ: 64 GiB
GPU: 1 GeForce GTX 3090（24GiBメモリ）
GPUドライバ: 455.23.05, CUDA: 11.1

結果

Pytorchモデルファイルサイズ: 355M（元のBERT: 438M）

💻 使用例

基本的な使用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="madlag/bert-base-uncased-squad1.1-block-sparse-0.32-v1",
    tokenizer="madlag/bert-base-uncased-squad1.1-block-sparse-0.32-v1"
)

predictions = qa_pipeline({
    'context': "Frédéric François Chopin, born Fryderyk Franciszek Chopin (1 March 1810 – 17 October 1849), was a Polish composer and virtuoso pianist of the Romantic era who wrote primarily for solo piano.",
    'question': "Who is Frederic Chopin?",
})

print(predictions)

📄 ライセンス

このモデルはMITライセンスの下で提供されています。