Gte Vi Base V1

🚀 基于Alibaba-NLP/gte-multilingual-base的句子转换器模型

本项目基于 sentence-transformers 框架，对 Alibaba-NLP/gte-multilingual-base 模型进行微调。该模型可将句子和段落映射到768维的密集向量空间，适用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等多种自然语言处理任务。

🚀 快速开始

直接使用（Sentence Transformers）

首先，安装 Sentence Transformers 库：

pip install -U sentence-transformers

然后，加载模型并进行推理：

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载模型
model = SentenceTransformer("sentence_transformers_model_id")
# 运行推理
sentences = [
    'Dù thế nào đi nữa , tôi sẽ biết ấn độ cuối cùng đã tăng lên từ trạng thái thế giới thứ ba khi tôi quay về thăm người thân của mình và những lời đầu tiên họ nói là không ăn , ăn , gầy trai .',
    'Khi người thân của tôi nói ít về thức ăn , tôi sẽ biết ấn độ đang được cải thiện .',
    'Ernie Lewis đã trải qua 15 năm trong chính sách tư nhân trước khi tham gia hội đồng appalred .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 多语言支持：基于多语言基础模型，能够处理多种语言的句子。
• 高准确率：在 xnli-vi-test 数据集上，余弦准确率达到了 0.9982。
• 灵活应用：可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等多种自然语言处理任务。

📦 安装指南

安装 Sentence Transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载模型
model = SentenceTransformer("sentence_transformers_model_id")
# 运行推理
sentences = [
    'Dù thế nào đi nữa , tôi sẽ biết ấn độ cuối cùng đã tăng lên từ trạng thái thế giới thứ ba khi tôi quay về thăm người thân của mình và những lời đầu tiên họ nói là không ăn , ăn , gầy trai .',
    'Khi người thân của tôi nói ít về thức ăn , tôi sẽ biết ấn độ đang được cải thiện .',
    'Ernie Lewis đã trải qua 15 năm trong chính sách tư nhân trước khi tham gia hội đồng appalred .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 仓库：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

评估

指标

训练详情

训练数据集

• 未命名数据集
  • 大小：130,899 个训练样本
  • 列：sentence_0、sentence_1 和 sentence_2
  • 近似统计信息（基于前 1000 个样本）：

    	sentence_0	sentence_1	sentence_2
    类型	字符串	字符串	字符串
    详情	最小：3 个标记 平均：35.19 个标记 最大：167 个标记	最小：6 个标记 平均：18.96 个标记 最大：64 个标记	最小：6 个标记 平均：19.34 个标记 最大：57 个标记

  • 样本：

    sentence_0	sentence_1	sentence_2
    Trong thời gian đó , julius đã lấy được đo lường của anh ta .	Julius đã làm việc của mình rồi .	Tôi biết anh đã nói với tôi rằng anh không bao giờ đi nhà hàng , bởi vì anh sợ họ sẽ nhổ vào thức ăn của anh .
    Khi hoàn thiện , các công cụ sẽ cho phép các ứng dụng để đánh giá các dự án công nghệ của họ trong thời gian triển khai để cả hai đảm bảo hoàn thành thành công và cuối cùng , để xác định xem mục tiêu của họ	Một khi hoàn thiện các công cụ sẽ được đánh giá nếu mục tiêu được đạt được .	Có thường xuyên chiến đấu quanh khu vực của penrith .
    H ' s , thân yêu tôi .	À , con yêu bé nhỏ của ta .	Đúng rồi đó .

  • 损失函数：MultipleNegativesRankingLoss，参数如下：

    {
        "scale": 20.0,
        "similarity_fct": "cos_sim"
    }
    

训练超参数

非默认超参数

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• num_train_epochs: 1
• fp16: True
• multi_dataset_batch_sampler: round_robin

所有超参数

训练日志

框架版本

• Python: 3.10.12
• Sentence Transformers: 4.0.2
• Transformers: 4.50.3
• PyTorch: 2.6.0+cu124
• Accelerate: 0.26.1
• Datasets: 3.5.0
• Tokenizers: 0.21.1

🔧 技术细节

引用

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

📄 许可证

本项目采用 MIT 许可证。