Bge Small En V1.5 Gguf

🚀 bge-small-en-v1.5-gguf

本項目提供了以GGUF格式存儲的量化和未量化嵌入模型，適用於llama.cpp。相較於transformers，使用本模型幾乎必定有顯著優勢；與ONNX相比，優勢則因應用場景而異。不過，對於較大的模型，本模型在CPU上能大幅提升速度，在GPU上也有一定的速度提升。由於這些模型相對較小，量化帶來的提升不會特別巨大，但在CPU上仍能實現高達30%的速度提升，且精度損失極小。

📄 許可證

本項目採用MIT許可證。

🖼️ 項目展示

📦 可用文件

💻 使用示例

基礎用法

這些模型文件可以與純llama.cpp或llama-cpp-python Python綁定一起使用。

from llama_cpp import Llama
model = Llama(gguf_path, embedding=True)
embed = model.embed(texts)

這裡的texts可以是一個字符串或字符串列表，返回值是一個嵌入向量列表。輸入會自動分批以提高執行效率。此外，還可以通過langchain_community.embeddings.LlamaCppEmbeddings集成到LangChain中。