bert-base-uncased-squadv1.1-sparse-80-1x4-block-pruneofaオープンソースモデル

ホーム

Bert Base Uncased Squadv1.1 Sparse 80 1x4 Block Pruneofa

Intelによって開発

このモデルは質問応答タスクに対して微調整されたBERT-Baseモデルで、80% 1x4ブロックスパース事前学習を採用し、知識蒸留技術を組み合わせています。

質問応答システム

Transformers

英語オープンソースライセンス:Apache-2.0 #ブロックスパースBERT #質問応答システムの最適化 #知識蒸留

ダウンロード数 27

リリース時間 : 3/2/2022

モデル概要

重みの剪定とモデル蒸留訓練を統合したスパース事前学習Transformer言語モデルで、質問応答システムタスクに適しています。

モデル特徴

スパース事前学習

80% 1x4ブロックスパース事前学習を採用し、モデルのパラメータを減らしながら性能を維持します。

知識蒸留

知識蒸留技術を組み合わせて、モデルの下流タスクでの性能を向上させます。

転移学習

スパース事前学習モデルの知識を異なる下流タスクに転移することをサポートします。

モデル能力

質問応答システム

自然言語理解

使用事例

質問応答システム

読解

与えられたテキストに基づいて関連する質問に回答します。

SQuADデータセットで81.29%の完全一致率と88.47%のF1スコアを達成しました。

🚀 80% 1x4 Block Sparse BERT-Base (uncased) Fine Tuned on SQuADv1.1

このモデルは、質問応答というNLPタスク用に微調整され、SQuAD 1.1データセットで訓練されています。Prune Once For All 80% 1x4ブロックスパース事前学習BERT-Baseモデルを微調整し、知識蒸留を組み合わせた結果です。

我々は、重みの剪定とモデルの蒸留を統合することにより、スパース事前学習Transformer言語モデルを訓練する新しい方法を提案しています。これらのスパース事前学習モデルは、広範なタスクの転移学習に使用でき、スパースパターンを維持します。我々は、訓練した圧縮スパース事前学習モデルが、5つの異なる下流の自然言語タスクに、最小限の精度損失で知識を移転する方法を示しています。

🚀 クイックスタート

このモデルは、質問応答のNLPタスク用に微調整されています。以下に、Pythonでこのモデルをインポートする方法を示します。

💻 使用例

基本的な使用法

import transformers
import model_compression_research as model_comp

model = transformers.AutoModelForQuestionAnswering.from_pretrained('Intel/bert-base-uncased-squadv1.1-sparse-80-1x4-block-pruneofa')

scheduler = mcr.pruning_scheduler_factory(model, '../../examples/transformers/question-answering/config/lock_config.json')

# Train your model...

scheduler.remove_pruning()

より多くのコード例については、GitHubリポジトリを参照してください。

📚 ドキュメント

モデルの詳細

プロパティ	詳細
モデルの著者 - 会社	Intel
モデルカードの著者	Intel
日付	2022年2月27日
バージョン	1
モデルタイプ	NLP - 質問応答
アーキテクチャ	"この方法は、教師モデルの準備と学生モデルの剪定の2つのステップから構成されています。我々が訓練したスパース事前学習モデルは、スパースパターンを維持しながら転移学習に使用するモデルです。我々は、事前学習モデルを1回だけ剪定しながら、いくつかの言語タスクに対してスパース事前学習モデルを微調整する方法を示しているため、この方法を「Prune Once for All」と呼んでいます。" (Zafrir et al., 2021)
論文またはその他のリソース	論文: Zafrir et al. (2021); GitHubリポジトリ
ライセンス	Apache 2.0
質問またはコメント	コミュニティタブおよび Intel Developers Discord

Zafrir et al. (2021)によるPrune Once for All方法の可視化です。詳細は彼らの論文を参照してください。

想定される用途

想定される用途	説明
主な想定用途	このモデルは、質問応答のNLPタスクに使用できます。つまり、テキストコーパスが与えられた場合、そのテキストに関する質問をすることができ、モデルはテキスト内から答えを見つけます。
主な想定ユーザー	質問応答を行うすべての人
想定外の用途	このモデルは、人々に敵対的または疎外感を与える環境を意図的に作り出すために使用してはいけません。

メトリクス（モデルのパフォーマンス）

モデル	モデルサイズ	SQuADv1.1 (EM/F1)	MNLI-m (Acc)	MNLI-mm (Acc)	QQP (Acc/F1)	QNLI (Acc)	SST-2 (Acc)
80% 1x4 Block Sparse BERT-Base uncased	-	81.29/88.47	-	-	-	-	-
85% Sparse BERT-Base uncased	ミディアム	81.10/88.42	82.71	83.67	91.15/88.00	90.34	91.46
90% Sparse BERT-Base uncased	ミディアム	79.83/87.25	81.45	82.43	90.93/87.72	89.07	90.88
90% Sparse BERT-Large uncased	ラージ	83.35/90.20	83.74	84.20	91.48/88.43	91.39	92.95
85% Sparse DistilBERT uncased	スモール	78.10/85.82	81.35	82.03	90.29/86.97	88.31	90.60
90% Sparse DistilBERT uncased	スモール	76.91/84.82	80.68	81.47	90.05/86.67	87.66	90.02

すべての結果は、同じハイパーパラメータと異なるシードを使用した2つの別々の実験の平均です。

訓練と評価データ

項目	説明
データセット	SQuAD1.1: "Stanford Question Answering Dataset (SQuAD)は、読解データセットであり、Wikipedia記事のセットに対してクラウドワーカーが作成した質問で構成されています。すべての質問の答えは、対応する読解文からのテキストのセグメント、またはスパンであり、質問が回答不能な場合もあります。" (https://huggingface.co/datasets/squad)
動機	質問応答タスクに対して効率的かつ正確なモデルを構築するため。
前処理	"我々は、事前学習タスクでモデルを訓練するために、英語のWikipediaデータセット（2500M語）を使用しています。データを訓練セット（95%）と検証セット（5%）に分割します。両方のセットは、モデルの元の論文（Devlin et al., 2019、Sanh et al., 2019）に記載されているように前処理されます。我々は、データを処理して、モデルが許容する最大シーケンス長を使用しますが、0:1の確率で短いシーケンスを許容します。" Wikipediaでの事前学習の後、SQuAD1.1データセットで微調整が完了します。

倫理的な考慮事項

項目	説明
データ	訓練データはWikipedia記事から取得されています。
人間の生活	このモデルは、人間の生活や繁栄に関する重要な決定を下すために使用することを意図していません。これは、ラベル付けされたWikipedia記事の集約セットです。
緩和策	モデル開発中に追加のリスク緩和策は考慮されていません。
リスクと危害	多くの研究が、言語モデルのバイアスと公平性の問題を調査しています（例えば、Sheng et al., 2021、および Bender et al., 2021 を参照）。このモデルによって生成される予測には、保護されたクラス、アイデンティティの特性、および敏感な社会的および職業的グループにまたがる、不快で有害なステレオタイプが含まれる可能性があります。これ以外にも、このモデルを使用することによるリスクの程度は不明です。
使用事例	-

注意事項と推奨事項

ユーザー（直接ユーザーと下流ユーザーの両方）は、このモデルのリスク、バイアス、および制限について認識すべきです。このモデルには追加の注意事項や推奨事項はありません。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。

BibTeXエントリと引用情報

@article{zafrir2021prune,
  title={Prune Once for All: Sparse Pre-Trained Language Models},
  author={Zafrir, Ofir and Larey, Ariel and Boudoukh, Guy and Shen, Haihao and Wasserblat, Moshe},
  journal={arXiv preprint arXiv:2111.05754},
  year={2021}
}