Bge Small En V1.5 Gguf

🚀 bge-small-en-v1.5-gguf

llama.cppで使用するためのGGUF形式の量子化および非量子化埋め込みモデルです。transformersに比べて大きなメリットがあり、ONNXに比べるとアプリケーションによってメリットが異なりますが、CPUでは大きな高速化、大規模モデルのGPUでは適度な高速化が得られます。これらのモデルは比較的小規模なため、量子化による大きな恩恵は得られませんが、CPUでは最大30％の高速化が得られ、精度の損失は最小限です。

🚀 クイックスタート

このモデルは、元のモデルがこちらにあり、llama.cppやllama-cpp-pythonのPythonバインディングで使用できます。

✨ 主な機能

• llama.cppやllama-cpp-pythonでの使用が可能です。
• 量子化モデルにより、CPUでの高速化が期待できます。
• LangChainとの統合が可能です。

📦 利用可能なファイル

💻 使用例

基本的な使用法

from llama_cpp import Llama
model = Llama(gguf_path, embedding=True)
embed = model.embed(texts)

ここで、textsは文字列または文字列のリストにすることができ、戻り値は埋め込みベクトルのリストです。入力は効率的な実行のために自動的にバッチにグループ化されます。また、langchain_community.embeddings.LlamaCppEmbeddingsを通じてLangChainとの統合も可能です。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。