Arabic SBERT 100K

🚀 Arabic-SBERT-100K

This is a fine-tuned sentence-transformers model that maps sentences and paragraphs to a 768-dimensional dense vector space, useful for semantic textual similarity, search, and more.

🚀 Quick Start

First, install the Sentence Transformers library:

pip install -U sentence-transformers

Then, you can load this model and run inference:

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'ما هو نوع الدهون الموجودة في الأفوكادو',
    'حوالي 15 في المائة من الدهون في الأفوكادو مشبعة ، مع كل كوب واحد من الأفوكادو المفروم يحتوي على 3.2 جرام من الدهون المشبعة ، وهو ما يمثل 16 في المائة من DV البالغ 20 جرامًا. تحتوي الأفوكادو في الغالب على دهون أحادية غير مشبعة ، مع 67 في المائة من إجمالي الدهون ، أو 14.7 جرامًا لكل كوب مفروم ، ويتكون من هذا النوع من الدهون.',
    'يمكن أن يؤدي ارتفاع مستوى الدهون الثلاثية ، وهي نوع من الدهون (الدهون) في الدم ، إلى زيادة خطر الإصابة بأمراض القلب ، ويمكن أن يؤدي توفير مستوى مرتفع من الدهون الثلاثية ، وهي نوع من الدهون (الدهون) في الدم ، إلى زيادة خطر الإصابة بأمراض القلب. مرض.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ Features

• Semantic Understanding: Maps sentences and paragraphs to a 768-dimensional dense vector space for semantic analysis.
• Multiple Applications: Can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

📚 Documentation

Model Details

Model Description

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Training Details

Training Dataset

• Unnamed Dataset
  • Size: 75,000 training samples
  • Columns: anchor, positive, and negative
  • Approximate statistics based on the first 1000 samples:

    	anchor	positive	negative
    type	string	string	string
    details	min: 4 tokens mean: 12.88 tokens max: 58 tokens	min: 4 tokens mean: 13.74 tokens max: 126 tokens	min: 4 tokens mean: 13.38 tokens max: 146 tokens

  • Samples:

    anchor	positive	negative
    هل تشاجر (سي إس لويس) و (جي آر آر تولكين) ؟ إن كان الأمر كذلك، فما هو السبب؟	هل صحيح أن (سي إس لويس) و (تولكين) تشاجرا؟	ما هي أفضل الكتب للدراسة في الجامعة؟
    ما هي اعراض فقر الدم؟	ما هي اعراض الانيميا؟	كيف احضر كيكة العسل؟
    من ستصوت له، دونالد ترامب أم هيلاري كلينتون؟	هل تؤيدون دونالد ترامب أم هيلاري كلينتون؟ لماذا؟	كيف أتغلب على إدمان المواد الإباحية؟

  • Loss: MatryoshkaLoss with these parameters:

    {
        "loss": "MultipleNegativesRankingLoss",
        "matryoshka_dims": [
            768,
            512,
            256,
            128,
            64
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": -1
    }
    

Evaluation Dataset

• Unnamed Dataset
  • Size: 25,000 evaluation samples
  • Columns: anchor, positive, and negative
  • Approximate statistics based on the first 1000 samples:

    	anchor	positive	negative
    type	string	string	string
    details	min: 4 tokens mean: 12.6 tokens max: 70 tokens	min: 4 tokens mean: 14.82 tokens max: 239 tokens	min: 4 tokens mean: 13.78 tokens max: 128 tokens

  • Samples:

    anchor	positive	negative
    نعم , نعم , أو رأيت " تشيما بارا ديسو "	نعم، أو "تشيما بارا ديسو" كانت تلك التي شاهدتها	أنا لم أرى "تشيما بارا ديسو".
    رجل وامرأة يجلسان على الشاطئ بينما تغرب الشمس	هناك رجل وامرأة يجلسان على الشاطئ	إنهم يشاهدون شروق الشمس
    كيف أسيطر على غضبي؟	ما هي أفضل طريقة للسيطرة على الغضب؟	كيف أعرف إن كانت زوجتي تخونني؟

  • Loss: MatryoshkaLoss with these parameters:

    {
        "loss": "MultipleNegativesRankingLoss",
        "matryoshka_dims": [
            768,
            512,
            256,
            128,
            64
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": -1
    }
    

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters