Bort

🚀 Amazon的BORT模型

BORT是一个高度压缩版的语言模型，它基于bert-large进行优化，推理速度最高可达原模型的10倍。该模型通过神经架构搜索找到了bert-large的最优子架构，在自然语言理解任务中展现出了高效与高性能的特点。

🚀 快速开始

此模型由社区贡献，并非由亚马逊公司官方支持。使用该模型时，需要注意它需要一种独特的微调算法Agora，且该算法尚未开源。在初始实验中，标准的微调方法效果不佳，请持续关注后续更新。

✨ 主要特性

• 高效推理：作为bert-large的高度压缩版本，BORT的推理速度比原模型快达10倍。
• 架构优化：通过神经架构搜索，找到了bert-large的最优子架构，模型有效规模（不包括嵌入层）仅为原BERT-large架构的5.5%，净规模的16%。
• 预训练高效：BORT仅需288个GPU小时进行预训练，这仅为最高性能的BERT参数架构变体RoBERTa-large（Liu等人，2019）预训练时间的1.2%，约为在相同硬件上训练BERT-large所需世界纪录GPU小时数的33%。
• 性能优越：在CPU上的运行速度快7.9倍，并且在多个公共自然语言理解（NLU）基准测试中，相对于BERT-large，其性能有0.3% - 31%的绝对提升。

📚 详细文档

模型介绍

Amazon的BORT 是一个高度压缩的语言模型，它是bert-large的优化版本。该模型通过神经架构搜索找到了bert-large的最优子架构，从而在保持性能的同时大幅提高了推理速度。

论文链接

相关研究论文可参考：Paper

论文摘要

我们通过应用神经架构搜索算法的最新突破，从Devlin等人（2018）的BERT架构中提取了一组最优的架构参数子集。这个最优子集，我们称之为“Bort”，明显更小，其有效规模（即不计算嵌入层）是原始BERT-large架构的5.5%，净规模的16%。Bort还能够在288个GPU小时内完成预训练，这是预训练性能最高的BERT参数架构变体RoBERTa-large（Liu等人，2019）所需时间的1.2%，约为在相同硬件上训练BERT-large所需世界纪录GPU小时数的33%。它在CPU上的速度也快7.9倍，并且比该架构的其他压缩变体以及一些未压缩变体表现更好：在多个公共自然语言理解（NLU）基准测试中，相对于BERT-large，它的性能有0.3% - 31%的绝对提升。

原始模型地址

原始模型可在以下地址找到：https://github.com/alexa/bort

重要提示

⚠️ 重要提示

BORT需要一种非常独特的微调算法，称为 Agora，该算法尚未开源。在初始实验中，标准的微调方法效果不佳，请持续关注后续更新！