Saiga Mistral 7b Gguf

🚀 Llama.cpp兼容版本的Saiga Mistral 7B模型

本項目提供了原始 7B模型 的Llama.cpp兼容版本。該模型可用於文本生成任務，使用了多種俄語數據集進行訓練。

🚀 快速開始

下載模型

你可以從Hugging Face下載模型的某個版本，例如 model-q4_K.gguf：

wget https://huggingface.co/IlyaGusev/saiga_mistral_7b_gguf/resolve/main/model-q4_K.gguf

下載交互腳本

下載 interact_mistral_llamacpp.py 腳本：

wget https://raw.githubusercontent.com/IlyaGusev/rulm/master/self_instruct/src/interact_mistral_llamacpp.py

運行模型

安裝依賴

pip install llama-cpp-python fire

啟動交互

python3 interact_mistral_llamacpp.py model-q4_K.gguf

📦 安裝指南

系統要求

• 對於q8_0量化版本，需要10GB的RAM；較小的量化版本所需內存更少。

📄 許可證

本項目採用Apache-2.0許可證。

📋 數據集信息