Bort

🚀 Amazon的BORT模型

BORT是一個高度壓縮版的語言模型，它基於bert-large進行優化，推理速度最高可達原模型的10倍。該模型通過神經架構搜索找到了bert-large的最優子架構，在自然語言理解任務中展現出了高效與高性能的特點。

🚀 快速開始

此模型由社區貢獻，並非由亞馬遜公司官方支持。使用該模型時，需要注意它需要一種獨特的微調算法Agora，且該算法尚未開源。在初始實驗中，標準的微調方法效果不佳，請持續關注後續更新。

✨ 主要特性

• 高效推理：作為bert-large的高度壓縮版本，BORT的推理速度比原模型快達10倍。
• 架構優化：通過神經架構搜索，找到了bert-large的最優子架構，模型有效規模（不包括嵌入層）僅為原BERT-large架構的5.5%，淨規模的16%。
• 預訓練高效：BORT僅需288個GPU小時進行預訓練，這僅為最高性能的BERT參數架構變體RoBERTa-large（Liu等人，2019）預訓練時間的1.2%，約為在相同硬件上訓練BERT-large所需世界紀錄GPU小時數的33%。
• 性能優越：在CPU上的運行速度快7.9倍，並且在多個公共自然語言理解（NLU）基準測試中，相對於BERT-large，其性能有0.3% - 31%的絕對提升。

📚 詳細文檔

模型介紹

Amazon的BORT 是一個高度壓縮的語言模型，它是bert-large的優化版本。該模型通過神經架構搜索找到了bert-large的最優子架構，從而在保持性能的同時大幅提高了推理速度。

論文鏈接

相關研究論文可參考：Paper

論文摘要

我們通過應用神經架構搜索算法的最新突破，從Devlin等人（2018）的BERT架構中提取了一組最優的架構參數子集。這個最優子集，我們稱之為“Bort”，明顯更小，其有效規模（即不計算嵌入層）是原始BERT-large架構的5.5%，淨規模的16%。Bort還能夠在288個GPU小時內完成預訓練，這是預訓練性能最高的BERT參數架構變體RoBERTa-large（Liu等人，2019）所需時間的1.2%，約為在相同硬件上訓練BERT-large所需世界紀錄GPU小時數的33%。它在CPU上的速度也快7.9倍，並且比該架構的其他壓縮變體以及一些未壓縮變體表現更好：在多個公共自然語言理解（NLU）基準測試中，相對於BERT-large，它的性能有0.3% - 31%的絕對提升。

原始模型地址

原始模型可在以下地址找到：https://github.com/alexa/bort

重要提示

⚠️ 重要提示

BORT需要一種非常獨特的微調算法，稱為 Agora，該算法尚未開源。在初始實驗中，標準的微調方法效果不佳，請持續關注後續更新！