Gte Base Ko

🚀 基于Alibaba-NLP/gte-multilingual-base的句子转换器模型

本模型是基于 sentence-transformers 库，在 nlpai-lab/ko-triplet-v1.0 数据集上对 Alibaba-NLP/gte-multilingual-base 模型进行微调得到的。它能够将句子和段落映射到768维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

🚀 快速开始

直接使用（Sentence Transformers）

首先安装 Sentence Transformers 库：

pip install -U sentence-transformers

然后加载模型并进行推理：

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载模型
model = SentenceTransformer("scottsuk0306/gte-base-ko")
# 进行推理
sentences = [
    '중, 인사하다, 시주하다, 치다, 사람, 목탁',
    '그 중은 시주한 사람에게 목탁을 치며 인사를 했다.',
    '재주라는 것은  예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 多语言支持：基于多语言基础模型微调，适用于韩语相关任务。
• 高维向量表示：将文本映射到768维的密集向量空间，便于进行语义分析。
• 多种应用场景：可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等。

📦 安装指南

安装 Sentence Transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载模型
model = SentenceTransformer("scottsuk0306/gte-base-ko")
# 进行推理
sentences = [
    '중, 인사하다, 시주하다, 치다, 사람, 목탁',
    '그 중은 시주한 사람에게 목탁을 치며 인사를 했다.',
    '재주라는 것은  예절, 음악, 활쏘기, 글쓰기, 말타기, 계산하기다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 仓库：GitHub上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

评估

指标

训练详情

训练数据集

• 数据集：nlpai-lab/ko-triplet-v1.0
• 大小：10,000个训练样本
• 列：anchor、positive 和 negative
• 基于前1000个样本的近似统计信息： | | 锚点 | 正样本 | 负样本 | | ---- | ---- | ---- | ---- | | 类型 | 字符串 | 字符串 | 字符串 | | 详情 |
  • 最小：9个标记
  • 平均：22.12个标记
  • 最大：146个标记
  |
  • 最小：10个标记
  • 平均：92.69个标记
  • 最大：1815个标记
  |
  • 最小：8个标记
  • 平均：99.24个标记
  • 最大：880个标记
  |
• 损失函数：MultipleNegativesRankingLoss，参数如下：

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

评估数据集

• 数据集：nlpai-lab/ko-triplet-v1.0
• 大小：3,724个评估样本
• 列：anchor、positive 和 negative
• 基于前1000个样本的近似统计信息： | | 锚点 | 正样本 | 负样本 | | ---- | ---- | ---- | ---- | | 类型 | 字符串 | 字符串 | 字符串 | | 详情 |
  • 最小：6个标记
  • 平均：21.63个标记
  • 最大：143个标记
  |
  • 最小：8个标记
  • 平均：88.89个标记
  • 最大：2003个标记
  |
  • 最小：10个标记
  • 平均：102.66个标记
  • 最大：3190个标记
  |
• 损失函数：MultipleNegativesRankingLoss，参数如下：

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

训练超参数

非默认超参数

• eval_strategy：按步数评估
• per_device_train_batch_size：16
• per_device_eval_batch_size：16
• learning_rate：1e-05
• num_train_epochs：1
• warmup_ratio：0.1
• bf16：True
• push_to_hub：True
• hub_model_id：scottsuk0306/gte-base-ko
• batch_sampler：无重复样本

所有超参数

训练日志

框架版本

• Python: 3.11.9
• Sentence Transformers: 3.0.1
• Transformers: 4.44.2
• PyTorch: 2.4.0+cu121
• Accelerate: 1.1.1
• Datasets: 2.19.0
• Tokenizers: 0.19.1

📄 许可证

文档未提及相关信息。

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}