Bge M3 Onnx O4

🚀 bge-m3-onnx-o4

このモデルは、元のBAAI/bge-m3のbge-m3-onnx-o4の重みです。このモデルが魅力的な理由は以下の通りです。

• [x] 多機能性：埋め込みモデルの3つの一般的な検索機能である、密な検索、多ベクトル検索、疎な検索を同時に実行できます。
• [x] 多言語対応：100以上の言語をサポートします。
• [x] 多粒度対応：短い文から最大8192トークンの長い文書まで、さまざまな粒度の入力を処理できます。

🚀 クイックスタート

✨ 主な機能

• 多機能性：埋め込みモデルの3つの一般的な検索機能である、密な検索、多ベクトル検索、疎な検索を同時に実行できます。
• 多言語対応：100以上の言語をサポートします。
• 多粒度対応：短い文から最大8192トークンの長い文書まで、さまざまな粒度の入力を処理できます。

📦 インストール

⚠️ 重要な注意

モデルの重みをダウンロードする必要があります。以下の手順に従ってください。

1. チェックポイントのダウンロード：何らかの理由で、このオンラインバージョンから直接ロードすることはできません（例外が発生します）。以下のようにこのリポジトリをダウンロードしてください。

# pip install huggingface-hub
 
from huggingface_hub import snapshot_download

snapshot_download(repo_id="hooman650/bge-m3-onnx-o4",local_dir="bge-m3-onnx")

密な検索の場合

# for cuda 
pip install --upgrade-strategy eager optimum[onnxruntime]

💻 使用例

基本的な使用法

from optimum.onnxruntime import ORTModelForFeatureExtraction
from transformers import AutoTokenizer
import torch

# Make sure that you download the model weights locally to `bge-m3-onnx`
model = ORTModelForFeatureExtraction.from_pretrained("bge-m3-onnx", provider="CUDAExecutionProvider") # omit provider for CPU usage.
tokenizer = AutoTokenizer.from_pretrained("hooman650/bge-m3-onnx-o4")

sentences = [
    "English: The quick brown fox jumps over the lazy dog.",
    "Spanish: El rápido zorro marrón salta sobre el perro perezoso.",
    "French: Le renard brun rapide saute par-dessus le chien paresseux.",
    "German: Der schnelle braune Fuchs springt über den faulen Hund.",
    "Italian: La volpe marrone veloce salta sopra il cane pigro.",
    "Japanese: 速い茶色の狐が怠惰な犬を飛び越える。",
    "Chinese (Simplified): 快速的棕色狐狸跳过懒狗。",
    "Russian: Быстрая коричневая лиса прыгает через ленивую собаку.",
    "Arabic: الثعلب البني السريع يقفز فوق الكلب الكسول.",
    "Hindi: तेज़ भूरी लोमड़ी आलसी कुत्ते के ऊपर कूद जाती है।"
]

encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt').to("cuda")

# Get the embeddings
out=model(**encoded_input,return_dict=True).last_hidden_state

# normalize the embeddings
dense_vecs = torch.nn.functional.normalize(out[:, 0], dim=-1)

高度な使用法

coming soon...

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。