Ezrkllm Collection

🚀 ezrkllm-collection

本項目收集了一系列使用瑞芯微（Rockchip） rkllm 工具包、適配瑞芯微芯片的大語言模型（LLMs）。此倉庫包含了經過轉換的模型，可在諸如 Orange Pi 5、NanoPi R6 和 Radxa Rock 5 等單板計算機（SBC）的 RK3588 NPU 上運行。

🚀 快速開始

若要了解如何安裝和使用，請查看 GitHub 上的主倉庫：https://github.com/Pelochus/ezrknpu

✨ 主要特性

可用的大語言模型

在運行任何大語言模型之前，請考慮所需的內存（RAM）約為模型大小的 1.5 - 3 倍（這只是一個估計值，尚未進行廣泛測試）。

目前，僅轉換了以下模型：

Llama 2 是使用 Azure 服務器進行轉換的。作為參考，轉換 Phi - 2 時，內存（RAM）峰值約為 15GB，交換空間（swap）約為 25GB（包含操作系統佔用，但操作系統最多佔用約 2GB）。轉換 Llama 2 7B 時，內存（RAM）峰值約為 32GB，交換空間（swap）約為 50GB。

下載模型

使用以下命令：

git clone LINK_FROM_PREVIOUS_TABLE_HERE

然後（可能不是必需的）：

git lfs pull

如果第一次克隆遇到問題（耗時過長），你也可以：

GIT_LFS_SKIP_SMUDGE=1 git clone LINK_FROM_PREVIOUS_TABLE_HERE

然後在克隆的文件夾中執行 git lfs pull 以下載完整模型。

RKLLM 使用的參數

RK3588 僅支持 w8a8 量化，因此所有模型均選擇此量化方式。此外，RKLLM 工具包允許選擇不進行優化（0）或進行優化（1），所有模型均進行了優化。

未來計劃

• [x] 轉換其他兼容的大語言模型
• [ ] 添加其他兼容的瑞芯微片上系統（SoCs）

更多信息

• 我對 rknn - llm 的分叉倉庫：https://github.com/Pelochus/ezrknn-llm
• 瑞芯微官方的大語言模型倉庫：https://github.com/airockchip/rknn-llm

📄 許可證

本項目採用 MIT 許可證。