Bge Base En V1.5 Gguf

🚀 bge-base-en-v1.5-gguf

llama.cppで使用するためのGGUF形式の量子化および非量子化埋め込みモデルです。transformersに比べて大きなメリットがあり、ONNXに比べるとアプリケーションによってメリットが異なりますが、CPUでの大幅な高速化と、大規模モデルでのGPUでの適度な高速化を提供します。これらのモデルは比較的小規模なため、量子化による大きなメリットはありませんが、CPUで最大30%の高速化を実現し、精度の損失は最小限に抑えられます。

🚀 クイックスタート

ソースモデル: https://huggingface.co/BAAI/bge-base-en-v1.5

このプロジェクトは、llama.cppで使用するためのGGUF形式の量子化および非量子化埋め込みモデルを提供します。transformersに比べて大きなメリットがあり、ONNXに比べるとアプリケーションによってメリットが異なりますが、CPUでの大幅な高速化と、大規模モデルでのGPUでの適度な高速化を提供します。これらのモデルは比較的小規模なため、量子化による大きなメリットはありませんが、CPUで最大30%の高速化を実現し、精度の損失は最小限に抑えられます。

📦 利用可能なファイル

💻 使用例

基本的な使用法

これらのモデルファイルは、純粋なllama.cppまたはllama-cpp-pythonのPythonバインディングで使用できます。

from llama_cpp import Llama
model = Llama(gguf_path, embedding=True)
embed = model.embed(texts)

ここで、textsは文字列または文字列のリストのいずれかで、戻り値は埋め込みベクトルのリストです。入力は効率的な実行のために自動的にバッチにグループ化されます。また、langchain_community.embeddings.LlamaCppEmbeddingsを通じてLangChainとの統合も可能です。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。