Arabic English Bge M3

🚀 🇸🇦 arabic - english - bge - m3

このモデルは、アラビア語用に最適化された[BAAI/bge - m3](https://huggingface.co/BAAI/bge - m3)のバージョンで、元のモデルよりも36.2%小さくなっています。

ONNX量子化バージョンは、枝刈りされたモデルよりも約75%小さく（363MB）、元のモデルの品質の約98%を維持しています。

この枝刈りされたモデルは、アラビア語のタスクでは元のモデルと同様の性能を発揮し、メモリ使用量が大幅に削減されます。ただし、元の多言語モデルに含まれる他の言語については、アラビア語で一般的に使用されないトークンが元の多言語モデルの語彙から削除されているため、性能が低下する可能性があります。

🚀 クイックスタート

このモデルを使用することで、アラビア語と英語の文章の類似度を計算することができます。

✨ 主な機能

• アラビア語用に最適化された、軽量版の[BAAI/bge - m3](https://huggingface.co/BAAI/bge - m3)モデル。
• ONNX量子化バージョンでは、モデルサイズが大幅に削減され、元のモデルの品質の約98%を維持。
• アラビア語のタスクでは、元のモデルと同様の性能を発揮し、メモリ使用量が大幅に削減。

💻 使用例

基本的な使用法

Transformersライブラリを使用する場合：

from transformers import AutoModel, AutoTokenizer

model_name = "sayed0am/arabic-english-bge-m3"
model = AutoModel.from_pretrained(model_name, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True, use_fast=True)

sentence - transformersライブラリを使用する場合：

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("sayed0am/arabic-english-bge-m3")

高度な使用法

ONNXを使用する場合：

# pip install huggingface-hub
 
from huggingface_hub import snapshot_download

snapshot_download(repo_id="sayed0am/arabic-english-bge-m3",local_dir="arabic-english-bge-m3")

from optimum.onnxruntime import ORTModelForFeatureExtraction
from transformers import AutoTokenizer
import torch

# Make sure that you download the model weights locally to `bge-m3-onnx`
model = ORTModelForFeatureExtraction.from_pretrained("arabic-english-bge-m3", subfolder="onnx", provider="CUDAExecutionProvider") # omit provider for CPU usage.
tokenizer = AutoTokenizer.from_pretrained("arabic-english-bge-m3")
sentences = [
    "English: The quick brown fox jumps over the lazy dog.",
    "Arabic: الثعلب البني السريع يقفز فوق الكلب الكسول."
]
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt').to("cuda") # For CPU remove .to("cuda")

# Get the embeddings
out=model(**encoded_input,return_dict=True).last_hidden_state

# normalize the embeddings
dense_vecs = torch.nn.functional.normalize(out[:, 0], dim=-1)

📄 ライセンス

このモデルはMITライセンスの下で提供されています。