bert-base-uncased-sparse-85-unstructured-pruneofaオープンソースモデル - 多言語タスクの微調整、剪定によるコスト削減

ホーム

Bert Base Uncased Sparse 85 Unstructured Pruneofa

Intelによって開発

これはスパースな事前学習モデルで、様々な言語タスクにファインチューニング可能であり、重みプルーニングにより計算コストを削減します。

大規模言語モデル

Transformers

英語オープンソースライセンス:Apache-2.0 #重みプルーニング #効率的な転移学習 #事前学習モデル

ダウンロード数 15

リリース時間 : 3/2/2022

モデル概要

このモデルはワンショットプルーニング汎用手法を採用し、重み行列のスパース化により計算コストを削減しながらモデル性能を維持し、様々な下流言語タスクに適用可能です。

モデル特徴

ワンショットプルーニング汎用手法

一度のプルーニングで複数の下流タスクに適応可能、各タスクごとに個別にプルーニングする必要なし

85%重みスパース性

85%の重みをゼロに設定することで行列をスパース化し、計算コストを大幅に削減

マルチタスク適応性

質問応答、自然言語推論、感情分類など様々な言語タスクにファインチューニング可能

モデル能力

テキスト理解

言語モデルのファインチューニング

質問応答システムサポート

感情分析

自然言語推論

使用事例

質問応答システム

SQuAD質問応答

スタンフォード質問応答データセットにファインチューニング

EM/F1スコア81.10/88.42

テキスト分類

感情分析

SST-2感情分類タスクに使用

精度91.46%

自然言語推論

MNLIタスク

多様な自然言語推論に使用

MNLI-m精度82.71%、MNLI-mm精度83.67%

🚀 85% スパース BERT-Base (uncased) Prune Once for All

このモデルは、幅広い言語タスクに対して微調整可能なスパース事前学習モデルです。重みの剪定（pruning）とは、ニューラルネットワークの一部の重みをゼロにする処理です。一部の重みをゼロに設定することで、行列がスパースになります。ニューラルネットワークの重み更新には行列乗算が含まれますが、十分な重要情報を保持しながら行列をスパースに保つことができれば、全体的な計算オーバーヘッドを削減することができます。モデル名に含まれる「スパース」という用語は、重みのスパース性の比率を示しています。詳細については、Zafrir et al. (2021) を参照してください。

Zafrir et al. (2021) からの Prune Once for All 方法の可視化:

✨ 主な機能

モデルの詳細

プロパティ	詳細
モデルの著者 - 会社	Intel
日付	2021年9月30日
バージョン	1
タイプ	NLP - 一般的なスパース言語モデル
アーキテクチャ	"この方法は、教師モデルの準備と学生モデルの剪定の2つのステップから構成されています。私たちが学習したスパース事前学習モデルは、スパース性パターンを維持しながら転移学習に使用するモデルです。事前学習モデルを一度だけ剪定しながら、いくつかの言語タスクに対してスパース事前学習モデルを微調整する方法を示しているため、この方法を Prune Once for All と呼んでいます。" (Zafrir et al., 2021)
論文またはその他のリソース	Zafrir et al. (2021); GitHub リポジトリ
ライセンス	Apache 2.0
質問やコメント	コミュニティタブと Intel Developers Discord

想定される用途

想定用途	説明
主な想定用途	これは一般的なスパース言語モデルです。現在の状態では、下流の予測タスクには使用できませんが、質問応答、自然言語推論、感情分類などのいくつかの言語タスクに対して微調整することができます。
主な想定ユーザー	他の下流タスクに効率的な一般的な言語モデルが必要な人。
想定外の用途	このモデルは、人々に敵意を抱かせたり、疎外感を与えたりする環境を意図的に作るために使用してはいけません。

💻 使用例

基本的な使用法

import transformers

model = transformers.AutoModelForQuestionAnswering.from_pretrained('Intel/bert-base-uncased-sparse-85-unstructured-pruneofa')

より多くのコード例については、GitHub リポジトリを参照してください。

📚 ドキュメント

メトリクス（モデルの性能）

モデル	モデルサイズ	SQuADv1.1 (EM/F1)	MNLI-m (Acc)	MNLI-mm (Acc)	QQP (Acc/F1)	QNLI (Acc)	SST-2 (Acc)
80% Sparse BERT-Base uncased fine-tuned on SQuAD1.1	-	81.29/88.47	-	-	-	-	-
85% Sparse BERT-Base uncased	Medium	81.10/88.42	82.71	83.67	91.15/88.00	90.34	91.46
90% Sparse BERT-Base uncased	Medium	79.83/87.25	81.45	82.43	90.93/87.72	89.07	90.88
90% Sparse BERT-Large uncased	Large	83.35/90.20	83.74	84.20	91.48/88.43	91.39	92.95
85% Sparse DistilBERT uncased	Small	78.10/85.82	81.35	82.03	90.29/86.97	88.31	90.60
90% Sparse DistilBERT uncased	Small	76.91/84.82	80.68	81.47	90.05/86.67	87.66	90.02

すべての結果は、同じハイパーパラメータと異なるシードを使用した2つの別々の実験の平均です。

学習と評価データ

項目	説明
データセット	英語のウィキペディアデータセット (2500M単語)。
動機	いくつかの下流の言語タスクに対して効率的で正確なベースモデルを構築すること。
前処理	"事前学習タスクでモデルを学習するために、英語のウィキペディアデータセット (2500M単語) を使用します。データを学習セット (95%) と検証セット (5%) に分割します。両方のセットは、モデルの元の論文 (Devlin et al., 2019, Sanh et al., 2019) に記載されているように前処理されます。モデルが許容する最大シーケンス長を使用するようにデータを処理しますが、確率0:1で短いシーケンスを許容します。"

倫理的な考慮事項

項目	説明
データ	学習データはウィキペディアの記事から取得されています。
人間の生活	このモデルは、人間の生活や繁栄に関する決定を下すために使用することを意図していません。これは、ラベル付けされたウィキペディア記事の集合です。
緩和策	モデル開発中に追加のリスク緩和策は考慮されていません。
リスクと危害	多くの研究が、言語モデルのバイアスと公平性の問題を調査しています（例えば、Sheng et al., 2021 および Bender et al., 2021 を参照）。このモデルによって生成される予測には、保護されたクラス、アイデンティティ特性、および敏感な、社会的、職業的なグループにまたがる有害なステレオタイプが含まれる可能性があります。それ以外の、このモデルを使用することに伴うリスクの程度は不明です。
ユースケース	-

注意事項と推奨事項

ユーザー（直接ユーザーと下流ユーザーの両方）は、このモデルのリスク、バイアス、および制限について認識する必要があります。このモデルに関する追加の注意事項や推奨事項はありません。

BibTeXエントリと引用情報

@article{zafrir2021prune,
  title={Prune Once for All: Sparse Pre-Trained Language Models},
  author={Zafrir, Ofir and Larey, Ariel and Boudoukh, Guy and Shen, Haihao and Wasserblat, Moshe},
  journal={arXiv preprint arXiv:2111.05754},
  year={2021}
}