L

Layerskip Llama2 7B

由facebook開發
基於Llama2 7B改進的模型,支持層級跳躍和自推測解碼,提升推理效率
下載量 1,674
發布時間 : 6/13/2024

模型概述

通過持續預訓練支持層級跳躍功能,能夠先用淺層生成草稿再用深層驗證,實現自推測解碼以加速推理過程

模型特點

層級跳躍
支持早期退出推理,允許模型在不同深度層級進行預測
自推測解碼
先用淺層子模型生成草稿,再用深層模型驗證,顯著提升解碼速度
高效推理
相比標準Llama2模型,自推測解碼可帶來60%的速度提升

模型能力

文本生成
問答系統
內容創作

使用案例

研究開發
高效推理研究
用於研究大語言模型的高效推理方法
自推測解碼速度提升60%
教育應用
教學演示
展示大語言模型的工作原理和優化技術
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase