Mistral 7B OpenOrca Q4 K M GGUF

🚀 munish0838/Mistral-7B-OpenOrca-Q4_K_M-GGUF

このモデルは、Open-Orca/Mistral-7B-OpenOrca から、llama.cpp を使用して ggml.ai の GGUF-my-repo スペースを通じて GGUF 形式に変換されました。モデルの詳細については、元のモデルカード を参照してください。

🚀 クイックスタート

📦 インストール

llama.cpp を brew を通じてインストールします。

brew install ggerganov/ggerganov/llama.cpp

💻 使用例

基本的な使用法

CLI を使用する場合：

llama-cli --hf-repo munish0838/Mistral-7B-OpenOrca-Q4_K_M-GGUF --model mistral-7b-openorca.Q4_K_M.gguf -p "The meaning to life and the universe is"

サーバーを使用する場合：

llama-server --hf-repo munish0838/Mistral-7B-OpenOrca-Q4_K_M-GGUF --model mistral-7b-openorca.Q4_K_M.gguf -c 2048

高度な使用法

Llama.cpp リポジトリに記載されている 使用手順 を直接使用することもできます。

git clone https://github.com/ggerganov/llama.cpp &&             cd llama.cpp &&             make &&             ./main -m mistral-7b-openorca.Q4_K_M.gguf -n 128

📄 ライセンス

このプロジェクトは、Apache-2.0 ライセンスの下で提供されています。