Bge Large Zh V1.5 Gguf

🚀 bge-large-zh-v1.5-gguf

本項目提供了適用於llama.cpp的GGUF格式的量化和非量化嵌入模型。源模型來自：https://huggingface.co/BAAI/bge-large-zh-v1.5。相較於transformers，使用本模型幾乎肯定會帶來性能提升；與ONNX相比，性能提升則因應用而異。對於較大的模型，本模型在CPU上能顯著加速，在GPU上也有一定的加速效果。由於這些模型相對較小，量化帶來的性能提升並不十分巨大，但在CPU上仍能實現高達30%的加速，且精度損失極小。

🚀 快速開始

文件列表

使用示例

基礎用法

這些模型文件可以與純llama.cpp或llama-cpp-python Python綁定一起使用。

from llama_cpp import Llama
model = Llama(gguf_path, embedding=True)
embed = model.embed(texts)

這裡的texts可以是一個字符串，也可以是一個字符串列表，返回值是一個嵌入向量列表。輸入會自動分批以提高執行效率。此外，還可以通過langchain_community.embeddings.LlamaCppEmbeddings與LangChain集成。

📄 許可證

本項目採用MIT許可證。