Bge Large En V1.5 Gguf

🚀 bge-large-en-v1.5-gguf

本項目提供了適用於llama.cpp的GGUF格式的量化和非量化嵌入模型。相較於transformers，使用本模型幾乎必定能帶來性能提升；與ONNX相比，性能提升則因應用場景而異。對於較大的模型，本模型在CPU上能顯著加速，在GPU上也有一定的加速效果。由於這些模型規模相對較小，量化帶來的性能提升並不十分顯著，但在CPU上仍能實現高達30%的加速，且精度損失極小。

🚀 快速開始

這些模型文件可與純llama.cpp或llama-cpp-python Python綁定一起使用。以下是使用示例：

from llama_cpp import Llama
model = Llama(gguf_path, embedding=True)
embed = model.embed(texts)

這裡的texts可以是一個字符串或字符串列表，返回值是一個嵌入向量列表。輸入會自動分批以提高執行效率。此外，還可以通過langchain_community.embeddings.LlamaCppEmbeddings與LangChain集成。

✨ 主要特性

• 提供適用於llama.cpp的GGUF格式的量化和非量化嵌入模型。
• 相比transformers有性能提升，與ONNX相比性能提升因應用而異。
• 在CPU上顯著加速，在GPU上也有一定加速效果。
• 模型規模相對較小，量化在CPU上可實現高達30%的加速，且精度損失極小。

📦 可用文件

📄 許可證

本項目採用MIT許可證。