Saiga Llama3 8b Gguf

🚀 Llama.cpp互換バージョンの8Bモデル

このプロジェクトは、元の8BモデルのLlama.cpp互換バージョンを提供します。

🚀 クイックスタート

モデルのダウンロード

以下のコマンドを使用して、モデルの1つのバージョン（例：model-q4_K.gguf）をダウンロードします。

wget https://huggingface.co/IlyaGusev/saiga_llama3_8b_gguf/resolve/main/model-q4_K.gguf

インタラクションスクリプトのダウンロード

interact_llama3_llamacpp.pyをダウンロードします。

wget https://raw.githubusercontent.com/IlyaGusev/rulm/master/self_instruct/src/interact_llama3_llamacpp.py

実行方法

必要なライブラリをインストールし、モデルを実行します。

pip install llama-cpp-python fire
python3 interact_llama3_llamacpp.py model-q4_K.gguf

システム要件

• q8_0の場合、10GBのRAMが必要で、小さい量子化の場合はそれ以下です。

📦 インストール

モデルのダウンロード

wget https://huggingface.co/IlyaGusev/saiga_llama3_8b_gguf/resolve/main/model-q4_K.gguf

インタラクションスクリプトのダウンロード

wget https://raw.githubusercontent.com/IlyaGusev/rulm/master/self_instruct/src/interact_llama3_llamacpp.py

依存ライブラリのインストール

pip install llama-cpp-python fire

💻 使用例

基本的な使用法

python3 interact_llama3_llamacpp.py model-q4_K.gguf

📄 ライセンス

このプロジェクトは、llama3ライセンスの下で提供されています。