Maux Gte Persian V2

🚀 SentenceTransformer based on Alibaba-NLP/gte-multilingual-base

This model is a fine - tuned sentence - transformers model. It is derived from [Alibaba - NLP/gte - multilingual - base](https://huggingface.co/Alibaba - NLP/gte - multilingual - base) and trained on the [maux - gte - 10k - public](https://huggingface.co/datasets/xmanii/maux - gte - 10k - public) dataset. It maps sentences and paragraphs into a 768 - dimensional dense vector space, which can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

📚 Documentation

✨ Features

• Model Type: Sentence Transformer
• Base model: [Alibaba - NLP/gte - multilingual - base](https://huggingface.co/Alibaba - NLP/gte - multilingual - base)
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • [maux - gte - 10k - public](https://huggingface.co/datasets/xmanii/maux - gte - 10k - public)

🔗 Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence - transformers)
• Hugging Face: [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence - transformers)

🔧 Technical Details

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

📦 Installation

First, install the Sentence Transformers library:

pip install -U sentence-transformers

💻 Usage Examples

Basic Usage

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("xmanii/maux-gte-persian-v2")
# Run inference
sentences = [
    'تفاوت بین کشاورزی ارگانیک و کشاورزی سنتی چیست؟',
    'بازارهای کشاورزان مکان\u200cهای محبوبی برای خرید محصولات ارگانیک به طور مستقیم از کشاورزان محلی هستند.',
    'تاریخ حفظ آب به تمدن\u200cهای باستانی برمی\u200cگردد که سیستم\u200cهای آبیاری را توسعه دادند.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📊 Evaluation

Metrics

Semantic Similarity

• Evaluated with EmbeddingSimilarityEvaluator

🔧 Training Details

Training Dataset

maux - gte - 10k - public

• Dataset: [maux - gte - 10k - public](https://huggingface.co/datasets/xmanii/maux - gte - 10k - public) at [e20c689](https://huggingface.co/datasets/xmanii/maux - gte - 10k - public/tree/e20c689e4915c4689dd54dd621ff57d5704cfaa5)
• Size: 10,000 training samples
• Columns: persian_question, persian_answer, and score
• Approximate statistics based on the first 1000 samples:

  	persian_question	persian_answer	score
  type	string	string	float
  details	min: 6 tokens mean: 14.7 tokens max: 32 tokens	min: 13 tokens mean: 29.01 tokens max: 78 tokens	min: 0.02 mean: 0.52 max: 1.0

• Samples:

  persian_question	persian_answer	score
  آیا می‌توانید فرآیند برنامه‌ریزی مسیر ربات را توضیح دهید؟	ربات‌ها می‌توانند برنامه‌نویسی شوند تا مجموعه‌ای از وظایف را انجام دهند، از اقدام‌های تکراری ساده تا فرآیندهای پیچیده تصمیم‌گیری.	0.27999999999999997
  آیا انسان‌ها می‌توانند در مریخ زندگی کنند؟	مریخ چهارمین سیاره از خورشید است و به دلیل ظاهر سرخش اغلب به سیاره سرخ معروف است.	0.16
  عناصر کلیدی ترکیب در هنر انتزاعی چیست؟	تاریخ هنر انتزاعی به اوایل قرن بیستم برمی‌گردد، با پیشگامانی مانند واسیلی کاندینسکی و پیت موندریان.	0.36

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Evaluation Dataset

maux - gte - 10k - public

• Dataset: [maux - gte - 10k - public](https://huggingface.co/datasets/xmanii/maux - gte - 10k - public) at [e20c689](https://huggingface.co/datasets/xmanii/maux - gte - 10k - public/tree/e20c689e4915c4689dd54dd621ff57d5704cfaa5)
• Size: 10,000 evaluation samples
• Columns: persian_question, persian_answer, and score
• Approximate statistics based on the first 1000 samples:

  	persian_question	persian_answer	score
  type	string	string	float
  details	min: 6 tokens mean: 14.7 tokens max: 32 tokens	min: 13 tokens mean: 29.01 tokens max: 78 tokens	min: 0.02 mean: 0.52 max: 1.0

• Samples:

  persian_question	persian_answer	score
  آیا می‌توانید فرآیند برنامه‌ریزی مسیر ربات را توضیح دهید؟	ربات‌ها می‌توانند برنامه‌نویسی شوند تا مجموعه‌ای از وظایف را انجام دهند، از اقدام‌های تکراری ساده تا فرآیندهای پیچیده تصمیم‌گیری.	0.27999999999999997
  آیا انسان‌ها می‌توانند در مریخ زندگی کنند؟	مریخ چهارمین سیاره از خورشید است و به دلیل ظاهر سرخش اغلب به سیاره سرخ معروف است.	0.16
  عناصر کلیدی ترکیب در هنر انتزاعی چیست؟	تاریخ هنر انتزاعی به اوایل قرن بیستم برمی‌گردد، با پیشگامانی مانند واسیلی کاندینسکی و پیت موندریان.	0.36

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Training Hyperparameters

Non - Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 2e - 05