AIbase
JA
ホーム
Minilmv2 L6 H384 Distilled From BERT Large
M

Minilmv2 L6 H384 Distilled From BERT Large

nreimersによって開発
MiniLMv2はマイクロソフトが開発した軽量言語表現モデルで、知識蒸留技術により効率的な推論を実現し、様々な自然言語処理タスクに適しています。
大規模言語モデル
Transformers
#軽量言語モデル#知識蒸留最適化#マルチタスク学習
ダウンロード数 14.21k
リリース時間 : 3/2/2022

モデル概要

MiniLMv2はTransformerアーキテクチャに基づく軽量言語モデルで、大規模モデルから知識蒸留により重要な知識を抽出し、高い性能を維持しながらモデルサイズを大幅に削減しました。リソースが限られた環境での自然言語処理タスクに最適です。

モデル特徴

効率的な知識蒸留
革新的な蒸留技術で大規模モデルから重要な知識を抽出し、モデルサイズを大幅に削減
軽量設計
パラメータ数を大幅に削減し、リソースが限られた環境での展開に適しています
高性能維持
モデルサイズを大幅に削減しながら、元の大規模モデルに近い性能を維持
汎用的な表現能力
汎用的な言語表現を学習し、様々な下流タスクに転移可能

モデル能力

テキスト表現学習
テキスト分類
質問応答システム
意味的類似度計算
情報検索

使用事例

自然言語処理
モバイル端末向けテキスト分類
モバイルデバイスに軽量テキスト分類アプリケーションを展開
効率的に動作し高い精度を維持
エッジコンピューティング質問応答システム
リソースが限られたエッジデバイスで質問応答機能を実現
低遅延応答、メモリ使用量が少ない
教育技術
スマート学習アシスタント
学生向けに軽量な言語理解と質問応答機能を提供
一般的なコンピューティングデバイスでスムーズに動作
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers 複数言語対応
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers 英語
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
English简体中文繁體中文にほんご
© 2025AIbase