Maux Gte Persian V2

🚀 基於Alibaba-NLP/gte-multilingual-base的句子轉換器

這是一個基於 sentence-transformers 框架，在 maux-gte-10k-public 數據集上對 Alibaba-NLP/gte-multilingual-base 模型進行微調得到的模型。它可以將句子和段落映射到一個768維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

本模型是基於 sentence-transformers 框架微調得到的，下面將介紹如何使用該模型進行推理。

✨ 主要特性

• 多用途：可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等多種自然語言處理任務。
• 高維向量表示：能夠將句子和段落映射到768維的密集向量空間，有助於更精確地捕捉語義信息。

📦 安裝指南

首先，你需要安裝 sentence-transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

安裝完成後，你可以加載模型並進行推理：

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載模型
model = SentenceTransformer("xmanii/maux-gte-persian-v2")
# 進行推理
sentences = [
    'تفاوت بین کشاورزی ارگانیک و کشاورزی سنتی چیست؟',
    'بازارهای کشاورزان مکان\u200cهای محبوبی برای خرید محصولات ارگانیک به طور مستقیم از کشاورزان محلی هستند.',
    'تاریخ حفظ آب به تمدن\u200cهای باستانی برمی\u200cگردد که سیستم\u200cهای آبیاری را توسعه دادند.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 代碼倉庫：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評估

指標

語義相似度

使用 EmbeddingSimilarityEvaluator 進行評估：

訓練詳情

訓練數據集

maux-gte-10k-public

• 數據集：maux-gte-10k-public，版本為 e20c689
• 大小：10,000 個訓練樣本
• 列信息：包含 persian_question、persian_answer 和 score 三列
• 基於前1000個樣本的近似統計信息： | | 波斯語問題 | 波斯語答案 | 得分 | |------|------|------|------| | 類型 | 字符串 | 字符串 | 浮點數 | | 詳情 |
  • 最小：6 個詞元
  • 平均：14.7 個詞元
  • 最大：32 個詞元
  |
  • 最小：13 個詞元
  • 平均：29.01 個詞元
  • 最大：78 個詞元
  |
  • 最小：0.02
  • 平均：0.52
  • 最大：1.0
  |
• 樣本示例： | 波斯語問題 | 波斯語答案 | 得分 | |------|------|------| | آیا می‌توانید فرآیند برنامه‌ریزی مسیر ربات را توضیح دهید؟ | ربات‌ها می‌توانند برنامه‌نویسی شوند تا مجموعه‌ای از وظایف را انجام دهند، از اقدام‌های تکراری ساده تا فرآیندهای پیچیده تصمیم‌گیری. | 0.27999999999999997 | | آیا انسان‌ها می‌توانند در مریخ زندگی کنند؟ | مریخ چهارمین سیاره از خورشید است و به دلیل ظاهر سرخش اغلب به سیاره سرخ معروف است. | 0.16 | | عناصر کلیدی ترکیب در هنر انتزاعی چیست؟ | تاریخ هنر انتزاعی به اوایل قرن بیستم برمی‌گردد، با پیشگامانی مانند واسیلی کاندینسکی و پیت موندریان. | 0.36 |
• 損失函數：CosineSimilarityLoss，參數如下：

{
    "loss_fct": "torch.nn.modules.loss.MSELoss"
}

評估數據集

評估數據集與訓練數據集相同，同樣為 maux-gte-10k-public，相關信息與訓練數據集一致。

訓練超參數

非默認超參數

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True

所有超參數

訓練日誌

加粗行表示保存的檢查點。

框架版本

• Python: 3.10.8
• Sentence Transformers: 3.3.1
• Transformers: 4.47.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

📄 許可證

文檔中未提及相關許可證信息。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}