Bert Base Uncased Squad1.1 Block Sparse 0.07 V1

🚀 BERT-base uncasedモデル：SQuAD v1でファインチューニング済み

このモデルはブロックスパースです。線形層には元の重みの**7.5%が含まれています。 モデル全体では元の重みの28.2%**を保持しています。

トレーニングにはVictor SanhのMovement Pruning手法の改良版が使用されています。 これは、block-sparseランタイムを使用することで、評価時に密なネットワークよりも1.92倍高速に動作することを意味しますが、精度には若干の影響があります（下記参照）。

このモデルは、HuggingFaceのBERTベースの大文字小文字を区別しないチェックポイントをSQuAD1.1でファインチューニングし、同等のモデルcsarron/bert-base-uncased-squad-v1から知識蒸留したものです。 このモデルは大文字小文字を区別しません。つまり、englishとEnglishを区別しません。

✨ 主な機能

• 質問応答タスクに特化したBERTベースのモデルです。
• ブロックスパース技術を用いており、評価時の高速化が実現されています。
• 大文字小文字を区別しないため、入力テキストのケースに依存せずに動作します。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="madlag/bert-base-uncased-squad1.1-block-sparse-0.07-v1",
    tokenizer="madlag/bert-base-uncased-squad1.1-block-sparse-0.07-v1"
)

predictions = qa_pipeline({
    'context': "Frédéric François Chopin, born Fryderyk Franciszek Chopin (1 March 1810 – 17 October 1849), was a Polish composer and virtuoso pianist of the Romantic era who wrote primarily for solo piano.",
    'question': "Who is Frederic Chopin?",
})

print(predictions)

📚 ドキュメント

プルーニングの詳細

ブロックプルーニングの副作用として、一部のアテンションヘッドが完全に削除されます。合計144個のヘッドのうち、106個（73.6%）が削除されました。

以下は、プルーニング後のネットワーク内での残りのヘッドの分布の詳細です。

密度プロット

詳細情報

🔧 技術詳細

このモデルは、HuggingFaceのBERTベースの大文字小文字を区別しないチェックポイントを使用しています。トレーニングには、Victor SanhのMovement Pruning手法の改良版が適用されており、ブロックスパース技術により評価時の高速化を実現しています。ただし、精度には若干の影響があります。

また、このモデルはcsarron/bert-base-uncased-squad-v1から知識蒸留されており、大文字小文字を区別しないため、入力テキストのケースに依存せずに動作します。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。