Jina Embeddings V2 Base Code GGUF

🚀 jina-embeddings-v2-base-code-GGUF

このプロジェクトは、jina-embeddings-v2-base-codeモデルをGGUF形式に量子化したもので、LlamaEdgeでの実行が可能です。

🚀 クイックスタート

元のモデル

元のモデルは jinaai/jina-embeddings-v2-base-code です。

LlamaEdgeでの実行

• LlamaEdgeのバージョン: v0.14.17
• プロンプトテンプレート
  • プロンプトタイプ: embedding
• コンテキストサイズ: 8192
• 埋め込み次元: 768
• LlamaEdgeサービスとして実行するには、以下のコマンドを実行します。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:jina-embeddings-v2-base-code-f16.gguf \
  llama-api-server.wasm \
  --prompt-template embedding \
  --ctx-size 8192 \
  --model-name jina-embeddings-v2-base-code

📚 詳細ドキュメント

量子化されたGGUFモデル

llama.cpp b4273で量子化されました。

📄 ライセンス

このプロジェクトはApache 2.0ライセンスの下で提供されています。