Bert Base Uncased Squad1.1 Block Sparse 0.20 V1

🚀 BERT-base uncasedモデルをSQuAD v1でファインチューニングしたバージョン

このモデルはブロック疎通化処理を行っています。具体的には、線形層では元の重みの 20.2% のみを保持しています。 全体として、このモデルは元の重みの 38.1% を保持しています。 学習過程ではVictor Sanhによる改良版の Movement Pruning 手法を使用しています。 これは、block-sparse を使用して実行する際、このモデルが評価段階で密集ネットワークよりも 1.39倍 高速に動作することを意味しますが、正確度には若干の影響があります（詳細は以下を参照）。 このモデルは、HuggingFaceの BERT の基礎となる大文字小文字を区別しないチェックポイントを SQuAD1.1 でファインチューニングし、等価モデル csarron/bert-base-uncased-squad-v1 から蒸留して得られたものです。このモデルは大文字小文字を区別せず、「english」と「English」を同じとみなします。

✨ 主な機能

• ブロック疎通化：線形層と全体の重みに対して疎通化処理を行い、実行速度を向上させます。
• 大文字小文字非敏感：英単語の大文字小文字を区別しません。
• ファインチューニングと蒸留：BERTの基礎モデルをSQuAD1.1でファインチューニングし、蒸留しています。

💻 使用例

基本的な使用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="madlag/bert-base-uncased-squad1.1-block-sparse-0.20-v1",
    tokenizer="madlag/bert-base-uncased-squad1.1-block-sparse-0.20-v1"
)

predictions = qa_pipeline({
    'context': "Frédéric François Chopin, born Fryderyk Franciszek Chopin (1 March 1810 – 17 October 1849), was a Polish composer and virtuoso pianist of the Romantic era who wrote primarily for solo piano.",
    'question': "Who is Frederic Chopin?",
})

print(predictions)

📚 ドキュメント

剪定の詳細

ブロック剪定の副作用として、一部のアテンションヘッドが完全に削除されます。合計144個のアテンションヘッドのうち、90個（62.5%）が削除されています。 以下は、剪定後に残ったアテンションヘッドのネットワーク内での分布の詳細です。

密度図

詳細情報

ファインチューニング情報

• Pythonバージョン：3.8.5
• マシン仕様：

CPU: Intel(R) Core(TM) i7-6700K CPU
メモリ: 64 GiB
GPU: 1 GeForce GTX 3090，ビデオメモリ24GiB
GPUドライバ: 455.23.05，CUDA: 11.1

結果

Pytorchモデルファイルのサイズ：347M（元のBERTモデル：438M）

🔧 技術詳細

このモデルの学習には改良版のMovement Pruning手法を使用しており、ブロック疎通化処理によってモデルの重みの数を減らし、実行速度を向上させています。剪定過程では一部のアテンションヘッドが削除され、モデルの構造に一定の影響を与えています。同時に、このモデルはSQuAD1.1データセットでファインチューニングされ、等価モデルから蒸留されることで、モデルの性能を保証しています。

📄 ライセンス

このモデルはMITライセンスを採用しています。