Simcse Roberta Large Zh

🚀 SimCSE(sup)

SimCSE(sup) は、文章の類似度タスクに使用されるモデルです。文章を埋め込みベクトルにエンコードし、文章間のコサイン類似度を計算することができます。このプロジェクトでは、複数の中国語データセットを用いて評価を行い、モデルの使用例も提供しています。

🚀 クイックスタート

このプロジェクトは文章の類似度に関するタスクに使用できます。提供されているモデルを使って文章を埋め込みベクトルにエンコードしたり、2つの文章間のコサイン類似度を計算したりすることができます。

✨ 主な機能

• 文章を埋め込みベクトルにエンコードすることができます。
• 2つの文章間のコサイン類似度を計算することができます。
• 複数の中国語データセットを用いて評価を行い、評価結果は加重平均法を用いて算出されます。

📦 インストール

ドキュメントではインストール手順が提供されていません。transformers ライブラリのインストール方法を参考にしてください。

pip install transformers

💻 使用例

基本的な使用法

import torch
from transformers import BertTokenizer
from transformers import BertModel
from sklearn.metrics.pairwise import cosine_similarity

# model
simcse_sup_path = "hellonlp/simcse-roberta-large-zh"
tokenizer = BertTokenizer.from_pretrained(simcse_sup_path)
MODEL = BertModel.from_pretrained(simcse_sup_path)

def get_vector_simcse(sentence):
    """
    预测simcse的语义向量。
    """
    input_ids = torch.tensor(tokenizer.encode(sentence)).unsqueeze(0)
    output = MODEL(input_ids)
    return output.last_hidden_state[:, 0].squeeze(0)

embeddings = get_vector_simcse("武汉是一个美丽的城市。")
print(embeddings.shape)
#torch.Size([1024])

高度な使用法

def get_similarity_two(sentence1, sentence2):
    vec1 = get_vector_simcse(sentence1).tolist()
    vec2 = get_vector_simcse(sentence2).tolist()
    similarity_list = cosine_similarity([vec1], [vec2]).tolist()[0][0]
    return similarity_list

sentence1 = '你好吗'
sentence2 = '你还好吗'
result = get_similarity_two(sentence1,sentence2)
print(result)
#0.848331

📚 ドキュメント

データセット一覧

以下のデータセットはすべて中国語データセットです。

モデル一覧

評価データセットは中国語で、異なる方法で同じ言語モデル RoBERTa base を使用しています。また、一部のデータセットのテストセットが小さいため、評価精度に大きな偏差が生じる可能性があることを考慮し、ここでの評価データには訓練セット、検証セット、テストセットの両方を使用し、最終的な評価結果は 加重平均 (w-avg) 法を用いています。

📄 ライセンス

このプロジェクトは MIT ライセンスを採用しています。