B

Bert Base Uncased Squadv1 X1.96 F88.3 D27 Hybrid Filled Opt V1

madlagによって開発
BERT-base uncasedモデルをSQuAD v1でファインチューニングし最適化した質問応答モデル。枝刈り技術により元の重みの43%を保持し、推論速度が1.96倍向上
ダウンロード数 20
リリース時間 : 3/2/2022

モデル概要

質問応答タスク向けに最適化されたBERTモデル。nn_pruningツールによる枝刈り最適化を施し、高い精度を維持しながら推論速度を大幅に向上

モデル特徴

効率的な枝刈り技術
nn_pruningツールを使用して枝刈りを実施。線形層の重み27%を保持し、全体で元の重みの43%を保持
推論高速化
構造化行列枝刈りにより、推論速度がオリジナルの1.96倍に
精度維持
F1値はオリジナル比0.17低下のみ(88.33 vs 88.5)。大幅な高速化を実現しながら高精度を維持
アテンションヘッド最適化
144個のアテンションヘッドから55個(38.2%)を削除し、計算効率を最適化

モデル能力

質問応答システム
テキスト理解
文脈抽出

使用事例

インテリジェントQA
事実ベースQA
与えられた文脈に基づき具体的な質問に回答
F1値88.33、EM値81.31
教育支援
学習資料理解
教材のキー情報を学生が迅速に特定するのを支援
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase