Bge M3 GGUF

🚀 bbvch-ai/bge-m3-GGUF

このモデルは、llama.cppを使用してggml.aiのGGUF-my-repoスペース経由で、BAAI/bge-m3からGGUF形式に変換されました。モデルの詳細については、元のモデルカードを参照してください。

🚀 クイックスタート

このセクションでは、bbvch-ai/bge-m3-GGUFモデルをllama.cppを使って利用する方法を説明します。

📦 インストール

llama.cppのインストール

MacとLinuxでは、brewを使ってllama.cppをインストールできます。

brew install llama.cpp

💻 使用例

llama.cppのCLIを使う場合

llama-cli --hf-repo bbvch-ai/bge-m3-GGUF --hf-file bge-m3-q4_k_m.gguf -p "The meaning to life and the universe is"

llama.cppのサーバーを使う場合

llama-server --hf-repo bbvch-ai/bge-m3-GGUF --hf-file bge-m3-q4_k_m.gguf -c 2048

別の利用方法

Llama.cppリポジトリに記載されている利用手順を直接使用することもできます。

手順1: llama.cppをGitHubからクローンする

git clone https://github.com/ggerganov/llama.cpp

手順2: llama.cppフォルダに移動し、LLAMA_CURL=1フラグと他のハードウェア固有のフラグ（例: LinuxのNvidia GPUの場合はLLAMA_CUDA=1）を使ってビルドする

cd llama.cpp && LLAMA_CURL=1 make

手順3: メインバイナリを通じて推論を実行する

./llama-cli --hf-repo bbvch-ai/bge-m3-GGUF --hf-file bge-m3-q4_k_m.gguf -p "The meaning to life and the universe is"

または

./llama-server --hf-repo bbvch-ai/bge-m3-GGUF --hf-file bge-m3-q4_k_m.gguf -c 2048

📄 ライセンス

このモデルはMITライセンスの下で提供されています。