Ezrkllm Collection

🚀 ezrkllm-collection

本项目收集了一系列使用瑞芯微（Rockchip） rkllm 工具包、适配瑞芯微芯片的大语言模型（LLMs）。此仓库包含了经过转换的模型，可在诸如 Orange Pi 5、NanoPi R6 和 Radxa Rock 5 等单板计算机（SBC）的 RK3588 NPU 上运行。

🚀 快速开始

若要了解如何安装和使用，请查看 GitHub 上的主仓库：https://github.com/Pelochus/ezrknpu

✨ 主要特性

可用的大语言模型

在运行任何大语言模型之前，请考虑所需的内存（RAM）约为模型大小的 1.5 - 3 倍（这只是一个估计值，尚未进行广泛测试）。

目前，仅转换了以下模型：

Llama 2 是使用 Azure 服务器进行转换的。作为参考，转换 Phi - 2 时，内存（RAM）峰值约为 15GB，交换空间（swap）约为 25GB（包含操作系统占用，但操作系统最多占用约 2GB）。转换 Llama 2 7B 时，内存（RAM）峰值约为 32GB，交换空间（swap）约为 50GB。

下载模型

使用以下命令：

git clone LINK_FROM_PREVIOUS_TABLE_HERE

然后（可能不是必需的）：

git lfs pull

如果第一次克隆遇到问题（耗时过长），你也可以：

GIT_LFS_SKIP_SMUDGE=1 git clone LINK_FROM_PREVIOUS_TABLE_HERE

然后在克隆的文件夹中执行 git lfs pull 以下载完整模型。

RKLLM 使用的参数

RK3588 仅支持 w8a8 量化，因此所有模型均选择此量化方式。此外，RKLLM 工具包允许选择不进行优化（0）或进行优化（1），所有模型均进行了优化。

未来计划

• [x] 转换其他兼容的大语言模型
• [ ] 添加其他兼容的瑞芯微片上系统（SoCs）

更多信息

• 我对 rknn - llm 的分叉仓库：https://github.com/Pelochus/ezrknn-llm
• 瑞芯微官方的大语言模型仓库：https://github.com/airockchip/rknn-llm

📄 许可证

本项目采用 MIT 许可证。