Frugalscore Medium Bert Base Mover Score
知識蒸留ベースの軽量テキスト評価モデル、小型学生モデルで大型教師モデルの採点動作を模倣
ダウンロード数 43
リリース時間 : 3/2/2022
モデル概要
低コスト固定方式でBERTScoreなどの高価なNLG評価指標を実現、元の性能90%以上を維持
モデル特徴
効率的な知識蒸留
回帰タスクで教師モデルの採点動作を蒸留、学生モデルパラメータは教師の1%のみ
マルチティーチャー互換
BERT/RoBERTa/DeBERTaなど多様な教師モデルの知識転移をサポート
評価指標維持
BERTScoreとMoverScore指標で元の性能90-95%を維持
モデル能力
テキスト生成品質評価
機械翻訳評価
要約生成評価
対話システム評価
使用事例
NLGシステム開発
機械翻訳品質監視
継続的インテグレーションで翻訳モデル出力品質を低コスト評価
元のBERTScore比8-12倍高速化
テキスト要約評価
要約生成モデルの自動評価プロセスに使用
人手評価との相関0.85-0.92達成
学術研究
軽量評価ベンチマーク
リソース制約環境で高価な評価指標を代替
メモリ使用量80%削減
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル
Transformers 複数言語対応

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2%です。
対話システム
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98