Bort

🚀 BORT

AmazonのBORTは、推論速度が最大10倍速い高度に圧縮された言語モデルです。

🚀 クイックスタート

このモデルはコミュニティによって貢献されたもので、Amazon, Inc.によるサポートはありません。

✨ 主な機能

• AmazonのBORT は、bert-large を高度に圧縮したバージョンで、推論速度が最大10倍速くなっています。
• このモデルは、ニューラルアーキテクチャサーチを用いて見つけ出された bert-large の最適なサブアーキテクチャです。
• 論文 によると、BORTは元のBERT-largeアーキテクチャの5.5%のサイズで、推論速度が7.9倍速く、複数の自然言語理解（NLU）ベンチマークでBERT-largeに比べて0.3%から31%の性能向上を達成しています。

📚 ドキュメント

概要

我々は、最近のニューラルアーキテクチャサーチアルゴリズムの進歩を応用して、Devlinら（2018）のBERTアーキテクチャから最適なアーキテクチャパラメータのサブセットを抽出しました。この最適なサブセットを「Bort」と呼びます。Bortは明らかに小さく、実効的なサイズ（埋め込み層を除く）は元のBERT-largeアーキテクチャの5.5%、ネットサイズの16%です。Bortはまた、288 GPU時間で事前学習でき、これは最高性能のBERTパラメトリックアーキテクチャバリアントであるRoBERTa-large（Liuら、2019）を事前学習するのに必要な時間の1.2%、同じハードウェアでBERT-largeを学習するのに必要な世界記録のGPU時間の約33%です。また、CPU上では7.9倍速く、他の圧縮バリアントや非圧縮バリアントよりも性能が良いです。複数の公開された自然言語理解（NLU）ベンチマークで、BERT-largeに対して0.3%から31%の絶対的な性能向上を達成しています。

元のモデルは以下の場所で見つけることができます： https://github.com/alexa/bort

重要事項

BORTは非常に独特な微調整アルゴリズムである Agora を必要としますが、これはまだオープンソース化されていません。初期の実験では、標準的な微調整はうまく機能しないことがわかっています。更新情報にご期待ください！

⚠️ 重要注意

このモデルはコミュニティによって貢献されたもので、Amazon, Inc.によるサポートはありません。

💡 使用アドバイス

BORTの微調整には Agora アルゴリズムが必要です。標準的な微調整は初期の実験ではうまく機能しないことがわかっています。更新情報にご期待ください。