Promcse Bert Base Zh

🚀 PromCSE(sup)

PromCSE(sup)是一個用於句子相似度任務的工具，它基於特定的語言模型和方法，能夠對中文句子進行編碼並計算句子之間的相似度，為自然語言處理相關任務提供支持。

📚 詳細文檔

🔍 數據列表

以下數據集均為中文數據集：

🧠 模型列表

評估數據集為中文，我們在不同方法上使用了相同的語言模型 RoBERTa base。此外，考慮到部分數據集的測試集規模較小，可能導致評估準確率偏差較大，這裡的評估數據同時使用了訓練集、驗證集和測試集，最終評估結果採用 加權平均（w-avg） 方法。

📦 安裝指南

要使用該工具，首先從 PyPI 安裝 promcse 包：

pip install promcse

💻 使用示例

基礎用法

安裝包後，你可以通過兩行代碼加載我們的模型：

from promcse import PromCSE
model = PromCSE("hellonlp/promcse-bert-base-zh", "cls", 10)

高級用法

句子編碼

你可以使用我們的模型將句子編碼為嵌入向量：

embeddings = model.encode("武漢是一個美麗的城市。")
print(embeddings.shape)
#torch.Size([768])

計算句子相似度

計算兩組句子之間的餘弦相似度：

sentences_a = ['你好嗎']
sentences_b = ['你怎麼樣','我吃了一個蘋果','你過的好嗎','你還好嗎','你',
               '你好不好','你好不好呢','我不開心','我好開心啊', '你吃飯了嗎',
               '你好嗎','你現在好嗎','你好個鬼']
similarities = model.similarity(sentences_a, sentences_b)
print(similarities)
# [(1.0, '你好嗎'),
#  (0.9167, '你好不好'),
#  (0.8956, '你好不好呢'),
#  (0.8431, '你還好嗎'),
#  (0.7919, '你怎麼樣'),
#  (0.7649, '你現在好嗎'),
#  (0.7458, '你過的好嗎'),
#  (0.6844, '你好個鬼'),
#  (0.6177, '你'),
#  (0.5654, '你吃飯了嗎'),
#  (0.3612, '我好開心啊'),
#  (0.1875, '我不開心'),
#  (0.0866, '我吃了一個蘋果')]

📄 許可證

本項目採用 MIT 許可證。