Bge Large Zh V1.5 Gguf

🚀 bge-large-zh-v1.5-gguf

llama.cpp で使用するためのGGUF形式の量子化および非量子化埋め込みモデルです。transformers よりも大きなメリットがほぼ保証され、ONNX と比べたメリットはアプリケーションによって異なりますが、CPUでは大幅な高速化、大規模モデルのGPUでは適度な高速化が得られます。これらのモデルは比較的小規模なため、量子化による大きな恩恵は得られませんが、CPUで最大30%の高速化を実現し、精度の損失は最小限に抑えられます。

🚀 クイックスタート

このモデルは、純粋な llama.cpp または llama-cpp-python Pythonバインディングで使用できます。

from llama_cpp import Llama
model = Llama(gguf_path, embedding=True)
embed = model.embed(texts)

ここで、texts は文字列または文字列のリストにすることができ、戻り値は埋め込みベクトルのリストです。入力は効率的な実行のために自動的にバッチにグループ化されます。また、langchain_community.embeddings.LlamaCppEmbeddings を通じてLangChainとの統合も可能です。

✨ 主な機能

• llama.cpp で使用可能なGGUF形式の量子化および非量子化埋め込みモデル。
• transformers やONNXと比べて高速化が期待できる。
• 量子化によりCPUでの高速化が可能で、精度の損失は最小限。

📦 利用可能なファイル

💻 使用例

基本的な使用法

from llama_cpp import Llama
model = Llama(gguf_path, embedding=True)
embed = model.embed(texts)

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。