Bge Large En V1.5 Gguf

🚀 bge-large-en-v1.5-gguf

このプロジェクトは、llama.cppで使用するためのGGUF形式の量子化および非量子化の埋め込みモデルを提供します。ソースモデルは、https://huggingface.co/BAAI/bge-large-en-v1.5 です。transformersに比べて大きなメリットがあり、ONNXに比べるとアプリケーションによってメリットが異なりますが、CPUでは大きな高速化、大規模モデルのGPUでは適度な高速化が見られます。これらのモデルは比較的小規模なため、量子化による大きな恩恵は得られませんが、CPUで最大30％の高速化を実現し、精度の損失は最小限に抑えられます。

🚀 クイックスタート

このモデルは、llama.cppまたはllama-cpp-pythonのPythonバインディングを使用して利用できます。

💻 使用例

基本的な使用法

from llama_cpp import Llama
model = Llama(gguf_path, embedding=True)
embed = model.embed(texts)

ここで、textsは文字列または文字列のリストにでき、戻り値は埋め込みベクトルのリストです。入力は効率的な実行のために自動的にバッチにグループ化されます。また、langchain_community.embeddings.LlamaCppEmbeddingsを通じてLangChainとの統合も可能です。

📦 利用可能なファイル

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。