Maux Gte Persian V2

🚀 基于Alibaba-NLP/gte-multilingual-base的句子转换器

这是一个基于 sentence-transformers 框架，在 maux-gte-10k-public 数据集上对 Alibaba-NLP/gte-multilingual-base 模型进行微调得到的模型。它可以将句子和段落映射到一个768维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

🚀 快速开始

本模型是基于 sentence-transformers 框架微调得到的，下面将介绍如何使用该模型进行推理。

✨ 主要特性

• 多用途：可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等多种自然语言处理任务。
• 高维向量表示：能够将句子和段落映射到768维的密集向量空间，有助于更精确地捕捉语义信息。

📦 安装指南

首先，你需要安装 sentence-transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

安装完成后，你可以加载模型并进行推理：

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载模型
model = SentenceTransformer("xmanii/maux-gte-persian-v2")
# 进行推理
sentences = [
    'تفاوت بین کشاورزی ارگانیک و کشاورزی سنتی چیست؟',
    'بازارهای کشاورزان مکان\u200cهای محبوبی برای خرید محصولات ارگانیک به طور مستقیم از کشاورزان محلی هستند.',
    'تاریخ حفظ آب به تمدن\u200cهای باستانی برمی\u200cگردد که سیستم\u200cهای آبیاری را توسعه دادند.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 代码仓库：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

评估

指标

语义相似度

使用 EmbeddingSimilarityEvaluator 进行评估：

训练详情

训练数据集

maux-gte-10k-public

• 数据集：maux-gte-10k-public，版本为 e20c689
• 大小：10,000 个训练样本
• 列信息：包含 persian_question、persian_answer 和 score 三列
• 基于前1000个样本的近似统计信息： | | 波斯语问题 | 波斯语答案 | 得分 | |------|------|------|------| | 类型 | 字符串 | 字符串 | 浮点数 | | 详情 |
  • 最小：6 个词元
  • 平均：14.7 个词元
  • 最大：32 个词元
  |
  • 最小：13 个词元
  • 平均：29.01 个词元
  • 最大：78 个词元
  |
  • 最小：0.02
  • 平均：0.52
  • 最大：1.0
  |
• 样本示例： | 波斯语问题 | 波斯语答案 | 得分 | |------|------|------| | آیا می‌توانید فرآیند برنامه‌ریزی مسیر ربات را توضیح دهید؟ | ربات‌ها می‌توانند برنامه‌نویسی شوند تا مجموعه‌ای از وظایف را انجام دهند، از اقدام‌های تکراری ساده تا فرآیندهای پیچیده تصمیم‌گیری. | 0.27999999999999997 | | آیا انسان‌ها می‌توانند در مریخ زندگی کنند؟ | مریخ چهارمین سیاره از خورشید است و به دلیل ظاهر سرخش اغلب به سیاره سرخ معروف است. | 0.16 | | عناصر کلیدی ترکیب در هنر انتزاعی چیست؟ | تاریخ هنر انتزاعی به اوایل قرن بیستم برمی‌گردد، با پیشگامانی مانند واسیلی کاندینسکی و پیت موندریان. | 0.36 |
• 损失函数：CosineSimilarityLoss，参数如下：

{
    "loss_fct": "torch.nn.modules.loss.MSELoss"
}

评估数据集

评估数据集与训练数据集相同，同样为 maux-gte-10k-public，相关信息与训练数据集一致。

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True

所有超参数

训练日志

加粗行表示保存的检查点。

框架版本

• Python: 3.10.8
• Sentence Transformers: 3.3.1
• Transformers: 4.47.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

📄 许可证

文档中未提及相关许可证信息。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}