Ezrkllm Collection

🚀 ezrkllm-collection

このプロジェクトは、Rockchipのrkllm-toolkitを使用して、Rockchipのチップと互換性のある大規模言語モデル（LLM）のコレクションです。このリポジトリには、Orange Pi 5、NanoPi R6、Radxa Rock 5などのシングルボードコンピュータ（SBC）に搭載されているRK3588 NPU上で実行するための変換済みモデルが含まれています。

インストールと使用方法については、GitHubのメインリポジトリを確認してください：https://github.com/Pelochus/ezrknpu

🚀 クイックスタート

このプロジェクトの概要と使い方をご紹介します。

✨ 主な機能

• Rockchipのチップと互換性のあるLLMを集めたコレクションを提供します。
• RK3588 NPU上で実行するための変換済みモデルを提供します。

📦 インストール

モデルのダウンロード

以下のコマンドを使用してモデルをダウンロードします。

git clone LINK_FROM_PREVIOUS_TABLE_HERE

その後、必要に応じて以下のコマンドを実行します。

git lfs pull

最初のクローンが問題を引き起こす場合（時間がかかりすぎるなど）、以下のコマンドを使用することもできます。

GIT_LFS_SKIP_SMUDGE=1 git clone LINK_FROM_PREVIOUS_TABLE_HERE

クローンしたフォルダ内でgit lfs pullを実行して、完全なモデルをダウンロードします。

📚 ドキュメント

利用可能なLLM

LLMを実行する前に、必要なRAMはモデルサイズの1.5～3倍程度であることに注意してください（これは推定値であり、まだ広範なテストを行っていません）。

現在、以下のモデルのみを変換しています。

Llama 2はAzureサーバーを使用して変換されました。参考までに、Phi-2の変換では、約15GBのRAM + 25GBのスワップ（OSを含むが、最大で約2GB使用）がピークとなりました。Llama 2 7Bの変換では、約32GBのRAM + 50GBのスワップがピークとなりました。

RKLLMパラメータの使用

RK3588はw8a8量子化のみをサポートしているため、すべてのモデルに対してこの量子化が選択されました。

その他、RKLLMツールキットでは、最適化なし（0）と最適化あり（1）が可能です。すべてのモデルは最適化されています。

将来的な追加予定

• [x] 他の互換性のあるLLMの変換
• [ ] 他の互換性のあるRockchipのSoCの追加

詳細情報

• rknn-llmのフォーク: https://github.com/Pelochus/ezrknn-llm
• 元のRockchipのLLMsリポジトリ: https://github.com/airockchip/rknn-llm

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。