BAAI Bge M3 Int8

🚀 BAAI/bge-m3 ONNX INT8量化模型

本项目将 BAAI/bge-m3 模型（仅适用于密集检索器）转换为 ONNX INT8 格式，以便与 Vespa Embedding 配合使用。

可用模型文件

• BAAI-bge-m3_quantized.onnx（INT8 量化版本）

该模型使用 optimum 工具包进行量化。

🚀 快速开始

✨ 转换为 INT8 量化模型

以下是将模型转换为 INT8 量化版本的步骤：

步骤 1：从 Hugging Face 导出模型

# 参考：https://github.com/vespa-engine/sample-apps/blob/master/simple-semantic-search/export_hf_model_from_hf.py
./export_hf_model_from_hf.py --hf_model BAAI/bge-m3 --output_dir bge-m3

步骤 2：进行 ONNX Runtime 量化

optimum-cli onnxruntime quantize --onnx_model ./bge-m3  -o bge-m3-large_quantized --avx512_vnni

📄 许可证

本模型的许可证基于原始许可证（可在项目根目录的 LICENSE 文件中找到），即 MIT 许可证。

• 原始模型许可证链接：https://huggingface.co/BAAI/bge-m3

🔗 归属声明

本模型的所有荣誉归功于 BAAI/bge-m3 的作者以及相关的研究人员和组织。在使用此模型时，请务必注明原作者。