Pearl Small

🚀 🦪⚪ PEARL-small

PEARL-small是一個輕量級的字符串嵌入模型，可用於字符串的語義相似度計算，能為字符串匹配、實體檢索、實體聚類、模糊連接等任務生成出色的嵌入表示。它與典型的句子嵌入器不同，通過結合短語類型信息和形態特徵，能更好地捕捉字符串的變化。

🚀 快速開始

PEARL-small是E5-small的一個變體，在我們構建的無上下文數據集上進行了微調，從而為短語和字符串生成更好的表示。

相關鏈接： 🤗 PEARL-small 🤗 PEARL-base 📐 PEARL基準測試 🏆 PEARL排行榜

✨ 主要特性

• 輕量級：是輕量級的字符串嵌入模型。
• 結合特殊信息：結合了短語類型信息和形態特徵，能更好地捕捉字符串的變化。
• 微調優化：基於E5-small在特定數據集上微調，為短語和字符串生成更好的表示。

📊 模型對比

📈 成本對比

💻 使用示例

基礎用法 - Sentence Transformers

PEARL與Sentence Transformers庫集成，可以這樣使用：

from sentence_transformers import SentenceTransformer, util

query_texts = ["The New York Times"]
doc_texts = [ "NYTimes", "New York Post", "New York"]
input_texts = query_texts + doc_texts

model = SentenceTransformer("Lihuchen/pearl_small")
embeddings = model.encode(input_texts)
scores = util.cos_sim(embeddings[0], embeddings[1:]) * 100
print(scores.tolist())
# [[90.56318664550781, 79.65763854980469, 75.52056121826172]]

高級用法 - Transformers

也可以使用transformers庫來使用PEARL，以下是一個實體檢索的示例：

import torch.nn.functional as F

from torch import Tensor
from transformers import AutoTokenizer, AutoModel


def average_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]

def encode_text(model, input_texts):
    # Tokenize the input texts
    batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

    outputs = model(**batch_dict)
    embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])
    
    return embeddings


query_texts = ["The New York Times"]
doc_texts = [ "NYTimes", "New York Post", "New York"]
input_texts = query_texts + doc_texts

tokenizer = AutoTokenizer.from_pretrained('Lihuchen/pearl_small')
model = AutoModel.from_pretrained('Lihuchen/pearl_small')

# encode
embeddings = encode_text(model, input_texts)

# calculate similarity
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:1] @ embeddings[1:].T) * 100
print(scores.tolist())

# expected outputs
# [[90.56318664550781, 79.65763854980469, 75.52054595947266]]

📚 詳細文檔

關於訓練和評估的詳細信息，請查看我們在Github上的代碼。

📄 許可證

本項目採用Apache-2.0許可證。

📖 引用

如果您覺得我們的工作有用，請引用以下文獻：

@inproceedings{chen2024learning,
  title={Learning High-Quality and General-Purpose Phrase Representations},
  author={Chen, Lihu and Varoquaux, Gael and Suchanek, Fabian},
  booktitle={Findings of the Association for Computational Linguistics: EACL 2024},
  pages={983--994},
  year={2024}
}