BAAI Bge M3 Int8

🚀 [BAAI/bge-m3] ONNX int8形式モデル

このプロジェクトでは、BAAI/bge-m3 モデル（密ベクトル検索器のみ）をONNX int8形式に変換し、Vespa Embedding で使用できるようにしています。

🚀 クイックスタート

Converted BAAI/bge-m3 モデルをONNX int8形式に変換し、Vespa Embedding で使用できるようにしました。

✨ 主な機能

• BAAI-bge-m3_quantized.onnx (int8量子化済み) モデルを提供します。
• optimum ツールキットを使用してモデルを量子化しています。

💻 使用例

基本的な使用法

# https://github.com/vespa-engine/sample-apps/blob/master/simple-semantic-search/export_hf_model_from_hf.py
./export_hf_model_from_hf.py --hf_model BAAI/bge-m3 --output_dir bge-m3

高度な使用法

optimum-cli onnxruntime quantize --onnx_model ./bge-m3  -o bge-m3-large_quantized --avx512_vnni

📄 ライセンス

このモデルのライセンスは、元のライセンス（プロジェクトのルートディレクトリにある LICENSE ファイルに記載）に基づいており、MITライセンスです。

• https://huggingface.co/BAAI/bge-m3

🔖 著作権表示

このモデルのすべてのクレジットは、BAAI/bge-m3 の著者および関連する研究者や組織に帰属します。このモデルを使用する際には、必ず元の著者を明記してください。