Bert Base Uncased Squad1.1 Block Sparse 0.13 V1

🚀 BERT-base uncasedモデルをSQuAD v1でファインチューニング

このモデルはブロック疎通化処理を採用しています。線形層では元の重みの**12.5%**のみを保持しています。

全体として、このモデルは元の重みの**32.1%**を保持しています。

学習過程ではVictor Sanhによる改良版の移動剪定手法を使用しています。

これは、ブロック疎を使用して実行する場合、このモデルが評価段階で密集ネットワークよりも1.65倍高速に動作することを意味しますが、精度に一定の影響を与えます（詳細は以下を参照）。

このモデルは、HuggingFaceのBERTの基礎的な大文字小文字を区別しないチェックポイント上で、SQuAD1.1データセットに対してファインチューニングされ、等価モデルcsarron/bert-base-uncased-squad-v1から知識蒸留されたものです。このモデルは大文字小文字を区別せず、「english」と「English」の処理結果は同じになります。

✨ 主な機能

• ブロック疎通化処理により、モデルの重みを削減し、実行速度を向上させます。
• BERT基礎モデルをベースにファインチューニングされており、質問応答タスクに適しています。
• 大文字小文字を区別しないため、一定の柔軟性を持ちます。

💻 使用例

基本的な使用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="madlag/bert-base-uncased-squad1.1-block-sparse-0.13-v1",
    tokenizer="madlag/bert-base-uncased-squad1.1-block-sparse-0.13-v1"
)

predictions = qa_pipeline({
    'context': "Frédéric François Chopin, born Fryderyk Franciszek Chopin (1 March 1810 – 17 October 1849), was a Polish composer and virtuoso pianist of the Romantic era who wrote primarily for solo piano.",
    'question': "Who is Frederic Chopin?",
})

print(predictions)

📚 ドキュメント

剪定の詳細

ブロック剪定の副作用として、一部のアテンションヘッドが完全に削除されます。合計144個のアテンションヘッドのうち、97個（67.4%）が削除されています。

以下は、剪定後の残りのアテンションヘッドのネットワーク内での分布の詳細です。

密度図

データセットの詳細

ファインチューニングの詳細

• Pythonバージョン：3.8.5
• マシンの仕様：

CPU: Intel(R) Core(TM) i7-6700K CPU
メモリ: 64 GiB
GPU: 1 GeForce GTX 3090，メモリ24GiB
GPUドライバ: 455.23.05，CUDA: 11.1

結果

Pytorchモデルファイルのサイズ：342M（元のBERTモデル：438M）

🔧 技術詳細

このモデルは改良版の移動剪定手法を使用して学習され、ブロック疎通化処理によりモデルの重みを削減し、実行速度を向上させます。剪定過程では一部のアテンションヘッドが削除され、モデルの性能に一定の影響を与えます。具体的な剪定の詳細と性能指標については、上記のドキュメントを参照してください。

📄 ライセンス

このモデルはMITライセンスを採用しています。