Promcse Bert Base Zh

🚀 PromCSE(sup)

PromCSE(sup)は、文の類似度を計算するためのモデルです。このモデルは、中国語のデータセットを使用して訓練されています。

🚀 クイックスタート

PromCSE(sup)を使用するには、まずpromcseパッケージをインストールする必要があります。その後、2行のコードでモデルをロードし、文を埋め込みにエンコードしたり、文のコサイン類似度を計算したりすることができます。

✨ 主な機能

• 中国語の文の類似度を計算することができます。
• 複数のデータセットで訓練されたモデルを提供しています。
• 簡単なコードでモデルをロードし、使用することができます。

📦 インストール

promcseパッケージをPyPIからインストールします。

pip install promcse

💻 使用例

基本的な使用法

パッケージをインストールした後、2行のコードでモデルをロードできます。

from promcse import PromCSE
model = PromCSE("hellonlp/promcse-bert-base-zh", "cls", 10)

文を埋め込みにエンコードすることができます。

embeddings = model.encode("武汉是一个美丽的城市。")
print(embeddings.shape)
#torch.Size([768])

2つの文のグループ間のコサイン類似度を計算します。

sentences_a = ['你好吗']
sentences_b = ['你怎么样','我吃了一个苹果','你过的好吗','你还好吗','你',
               '你好不好','你好不好呢','我不开心','我好开心啊', '你吃饭了吗',
               '你好吗','你现在好吗','你好个鬼']
similarities = model.similarity(sentences_a, sentences_b)
print(similarities)
# [(1.0, '你好吗'),
#  (0.9167, '你好不好'),
#  (0.8956, '你好不好呢'),
#  (0.8431, '你还好吗'),
#  (0.7919, '你怎么样'),
#  (0.7649, '你现在好吗'),
#  (0.7458, '你过的好吗'),
#  (0.6844, '你好个鬼'),
#  (0.6177, '你'),
#  (0.5654, '你吃饭了吗'),
#  (0.3612, '我好开心啊'),
#  (0.1875, '我不开心'),
#  (0.0866, '我吃了一个苹果')]

📚 ドキュメント

データセット一覧

以下のデータセットはすべて中国語です。

モデル一覧

評価データセットは中国語で、異なる方法で同じ言語モデルRoBERTa baseを使用しています。また、一部のデータセットのテストセットが小さいため、評価精度に大きな偏差が生じる可能性があるため、ここでの評価データは訓練、検証、テストを同時に使用し、最終的な評価結果は加重平均(w-avg) 法を採用しています。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。