BAAI Bge M3 Int8

🚀 BAAI/bge-m3 ONNX INT8量化模型

本項目將 BAAI/bge-m3 模型（僅適用於密集檢索器）轉換為 ONNX INT8 格式，以便與 Vespa Embedding 配合使用。

可用模型文件

• BAAI-bge-m3_quantized.onnx（INT8 量化版本）

該模型使用 optimum 工具包進行量化。

🚀 快速開始

✨ 轉換為 INT8 量化模型

以下是將模型轉換為 INT8 量化版本的步驟：

步驟 1：從 Hugging Face 導出模型

# 參考：https://github.com/vespa-engine/sample-apps/blob/master/simple-semantic-search/export_hf_model_from_hf.py
./export_hf_model_from_hf.py --hf_model BAAI/bge-m3 --output_dir bge-m3

步驟 2：進行 ONNX Runtime 量化

optimum-cli onnxruntime quantize --onnx_model ./bge-m3  -o bge-m3-large_quantized --avx512_vnni

📄 許可證

本模型的許可證基於原始許可證（可在項目根目錄的 LICENSE 文件中找到），即 MIT 許可證。

• 原始模型許可證鏈接：https://huggingface.co/BAAI/bge-m3

🔗 歸屬聲明

本模型的所有榮譽歸功於 BAAI/bge-m3 的作者以及相關的研究人員和組織。在使用此模型時，請務必註明原作者。