Kosimcse Bert

🚀 韓語句子嵌入項目

🍭 這是一個韓語句子嵌入的倉庫。你可以直接下載預訓練模型並進行推理，同時也提供了可供個人訓練模型的環境。

🚀 快速開始

以下是一個簡單的代碼示例，展示如何使用該項目進行韓語句子嵌入和相似度計算：

import torch
from transformers import AutoModel, AutoTokenizer

def cal_score(a, b):
    if len(a.shape) == 1: a = a.unsqueeze(0)
    if len(b.shape) == 1: b = b.unsqueeze(0)

    a_norm = a / a.norm(dim=1)[:, None]
    b_norm = b / b.norm(dim=1)[:, None]
    return torch.mm(a_norm, b_norm.transpose(0, 1)) * 100

model = AutoModel.from_pretrained('BM-K/KoSimCSE-bert') 
AutoTokenizer.from_pretrained('BM-K/KoSimCSE-bert')

sentences = ['치타가 들판을 가로 질러 먹이를 쫓는다.',
             '치타 한 마리가 먹이 뒤에서 달리고 있다.',
             '원숭이 한 마리가 드럼을 연주한다.']

inputs = tokenizer(sentences, padding=True, truncation=True, return_tensors="pt")
embeddings, _ = model(**inputs, return_dict=False)

score01 = cal_score(embeddings[0][0], embeddings[1][0])
score02 = cal_score(embeddings[0][0], embeddings[2][0])

💻 使用示例

基礎用法

上述代碼示例展示了基礎的使用方法，包括加載預訓練模型、分詞器，對句子進行編碼並計算句子之間的相似度。

高級用法

你可以根據實際需求，調整代碼中的參數，如更換不同的預訓練模型，或者修改相似度計算的方法等。

📊 性能表現

• 語義文本相似度測試集結果

項目鏈接：https://github.com/BM-K/Sentence-Embedding-is-all-you-need