Bert Base Uncased Sst2 Acc91.1 D37 Hybrid

🚀 bert-base-uncasedモデルをSST - 2でファインチューニング

このモデルは、nn_pruning Pythonライブラリを使用して作成されました。線形層には、元の重みの**37%**が含まれています。

モデル全体では、元の重みの**51%**が含まれています（埋め込みはモデルの重要な部分を占めており、この方法では剪定されません）。

性能面では、精度は91.17です。

🚀 クイックスタート

このセクションでは、このモデルの基本的な使い方を説明します。

✨ 主な機能

• このモデルは、SST - 2データセットでファインチューニングされたbert - base - uncasedモデルです。
• 線形層の重みが削減され、モデルサイズが縮小されています。
• テキスト分類タスクに適用できます。

📦 インストール

nn_pruningをインストールします。これには、空の行/列を削除することで線形層をより小さなものにパックする最適化スクリプトが含まれています。

pip install nn_pruning

💻 使用例

基本的な使用法

from transformers import pipeline
from nn_pruning.inference_model_patcher import optimize_model

cls_pipeline = pipeline(
    "text-classification",
    model="echarlaix/bert-base-uncased-sst2-acc91.1-d37-hybrid",
    tokenizer="echarlaix/bert-base-uncased-sst2-acc91.1-d37-hybrid",
)

print(f"Parameters count (includes only head pruning, no feed forward pruning)={int(cls_pipeline.model.num_parameters() / 1E6)}M")
cls_pipeline.model = optimize_model(cls_pipeline.model, "dense")
print(f"Parameters count after optimization={int(cls_pipeline.model.num_parameters() / 1E6)}M")
predictions = cls_pipeline("This restaurant is awesome")
print(predictions)

📚 ドキュメント

ファイン剪定の詳細

このモデルは、HuggingFaceのモデルチェックポイントをタスクに合わせてファインチューニングし、textattack/bert-base-uncased-SST-2モデルから知識蒸留を行ったものです。

このモデルは大文字小文字を区別しません。つまり、englishとEnglishは同じとみなされます。

ブロック剪定方法の副作用として、一部のアテンションヘッドが完全に削除されます。合計144個のヘッドのうち、88個（61.1%）が削除されました。

以下は、剪定後のネットワーク内での残りのヘッドの分布の詳細です。

SST - 2データセットの詳細

結果

Pytorchモデルファイルサイズ: 351MB（元のBERT: 420MB）

📄 ライセンス

このモデルは、Apache - 2.0ライセンスの下で提供されています。