Gte Base Korean

🚀 upskyy/gte-korean-base

該模型是基於 Alibaba-NLP/gte-multilingual-base 進行 korsts 和 kornli 微調的模型。它能將句子和段落映射到 768 維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

本模型可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。下面將介紹如何安裝依賴庫並使用本模型進行推理。

✨ 主要特性

• 多語言支持：支持多種語言，如南非語、阿拉伯語、阿塞拜疆語等。
• 高維度輸出：輸出 768 維的向量，可用於語義相似度計算等任務。
• 長序列處理：最大支持 8192 個標記的序列長度。

📦 安裝指南

首先，你需要安裝 sentence-transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

使用 sentence-transformers 庫

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載模型
model = SentenceTransformer("upskyy/gte-korean-base", trust_remote_code=True)

# 運行推理
sentences = [
    '아이를 가진 엄마가 해변을 걷는다.',
    '두 사람이 해변을 걷는다.',
    '한 남자가 해변에서 개를 산책시킨다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
print(similarities)
# tensor([[1.0000, 0.6274, 0.3788],
#        [0.6274, 1.0000, 0.5978],
#        [0.3788, 0.5978, 1.0000]]) 

不使用 sentence-transformers 庫

from transformers import AutoTokenizer, AutoModel
import torch


# 平均池化 - 考慮注意力掩碼以進行正確的平均計算
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] # 模型輸出的第一個元素包含所有標記嵌入
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)


# 我們需要獲取句子嵌入的句子
sentences = ["안녕하세요?", "한국어 문장 임베딩을 위한 버트 모델입니다."]

# 從 HuggingFace Hub 加載模型
tokenizer = AutoTokenizer.from_pretrained("upskyy/gte-korean-base")
model = AutoModel.from_pretrained("upskyy/gte-korean-base", trust_remote_code=True)

# 對句子進行分詞
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors="pt")

# 計算標記嵌入
with torch.no_grad():
    model_output = model(**encoded_input)

# 進行池化操作。在這種情況下，使用平均池化
sentence_embeddings = mean_pooling(model_output, encoded_input["attention_mask"])

print("句子嵌入:")
print(sentence_embeddings)

📚 詳細文檔

模型詳情

模型描述

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

評估指標

語義相似度

• 數據集：sts-dev
• 評估工具：EmbeddingSimilarityEvaluator

框架版本

• Python：3.10.13
• Sentence Transformers：3.0.1
• Transformers：4.42.4
• PyTorch：2.3.0+cu121
• Accelerate：0.30.1
• Datasets：2.16.1
• Tokenizers：0.19.1

🔧 技術細節

本模型基於 Alibaba-NLP/gte-multilingual-base 進行微調，使用了 SentenceTransformer 框架。模型結構包括一個 Transformer 層和一個 Pooling 層，用於將句子和段落映射到 768 維的密集向量空間。

📄 許可證

本模型採用 Apache-2.0 許可證。

📖 引用

BibTeX

@misc{zhang2024mgte,
      title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval}, 
      author={Xin Zhang and Yanzhao Zhang and Dingkun Long and Wen Xie and Ziqi Dai and Jialong Tang and Huan Lin and Baosong Yang and Pengjun Xie and Fei Huang and Meishan Zhang and Wenjie Li and Min Zhang},
      year={2024},
      eprint={2407.19669},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.19669}, 
}

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}