Gte Base Korean

🚀 upskyy/gte-korean-base

该模型是基于 Alibaba-NLP/gte-multilingual-base 进行 korsts 和 kornli 微调的模型。它能将句子和段落映射到 768 维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

🚀 快速开始

本模型可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。下面将介绍如何安装依赖库并使用本模型进行推理。

✨ 主要特性

• 多语言支持：支持多种语言，如南非语、阿拉伯语、阿塞拜疆语等。
• 高维度输出：输出 768 维的向量，可用于语义相似度计算等任务。
• 长序列处理：最大支持 8192 个标记的序列长度。

📦 安装指南

首先，你需要安装 sentence-transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

使用 sentence-transformers 库

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载模型
model = SentenceTransformer("upskyy/gte-korean-base", trust_remote_code=True)

# 运行推理
sentences = [
    '아이를 가진 엄마가 해변을 걷는다.',
    '두 사람이 해변을 걷는다.',
    '한 남자가 해변에서 개를 산책시킨다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
print(similarities)
# tensor([[1.0000, 0.6274, 0.3788],
#        [0.6274, 1.0000, 0.5978],
#        [0.3788, 0.5978, 1.0000]]) 

不使用 sentence-transformers 库

from transformers import AutoTokenizer, AutoModel
import torch


# 平均池化 - 考虑注意力掩码以进行正确的平均计算
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] # 模型输出的第一个元素包含所有标记嵌入
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)


# 我们需要获取句子嵌入的句子
sentences = ["안녕하세요?", "한국어 문장 임베딩을 위한 버트 모델입니다."]

# 从 HuggingFace Hub 加载模型
tokenizer = AutoTokenizer.from_pretrained("upskyy/gte-korean-base")
model = AutoModel.from_pretrained("upskyy/gte-korean-base", trust_remote_code=True)

# 对句子进行分词
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors="pt")

# 计算标记嵌入
with torch.no_grad():
    model_output = model(**encoded_input)

# 进行池化操作。在这种情况下，使用平均池化
sentence_embeddings = mean_pooling(model_output, encoded_input["attention_mask"])

print("句子嵌入:")
print(sentence_embeddings)

📚 详细文档

模型详情

模型描述

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

评估指标

语义相似度

• 数据集：sts-dev
• 评估工具：EmbeddingSimilarityEvaluator

框架版本

• Python：3.10.13
• Sentence Transformers：3.0.1
• Transformers：4.42.4
• PyTorch：2.3.0+cu121
• Accelerate：0.30.1
• Datasets：2.16.1
• Tokenizers：0.19.1

🔧 技术细节

本模型基于 Alibaba-NLP/gte-multilingual-base 进行微调，使用了 SentenceTransformer 框架。模型结构包括一个 Transformer 层和一个 Pooling 层，用于将句子和段落映射到 768 维的密集向量空间。

📄 许可证

本模型采用 Apache-2.0 许可证。

📖 引用

BibTeX

@misc{zhang2024mgte,
      title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval}, 
      author={Xin Zhang and Yanzhao Zhang and Dingkun Long and Wen Xie and Ziqi Dai and Jialong Tang and Huan Lin and Baosong Yang and Pengjun Xie and Fei Huang and Meishan Zhang and Wenjie Li and Min Zhang},
      year={2024},
      eprint={2407.19669},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.19669}, 
}

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}