Pearl Small

🚀 🦪⚪ PEARL-small

PEARL-smallは軽量な文字列埋め込みモデルです。文字列の意味的類似度計算に最適なツールであり、文字列マッチング、エンティティ検索、エンティティクラスタリング、ファジー結合などに優れた埋め込みを生成します。このモデルは、フレーズタイプ情報と形態素的特徴を組み込んでいるため、典型的な文章埋め込みモデルとは異なり、文字列の変化をよりよく捉えることができます。

🚀 クイックスタート

PEARL-smallは、E5-small のバリアントであり、構築した文脈フリーのデータセット で微調整されており、フレーズや文字列に対してより良い表現を得ることができます。

論文: Learning High-Quality and General-Purpose Phrase Representations
著者: Lihu Chen, Gaël Varoquaux, Fabian M. Suchanek
掲載誌: EACL Findings 2024

🤗 PEARL-small 🤗 PEARL-base 📐 PEARL Benchmark 🏆 PEARL Leaderboard

✨ 主な機能

• 文字列の意味的類似度計算に最適
• フレーズタイプ情報と形態素的特徴を組み込み、文字列の変化をよりよく捉える
• 文字列マッチング、エンティティ検索、エンティティクラスタリング、ファジー結合などに優れた埋め込みを生成

📚 ドキュメント

モデルの評価結果

コスト比較

FastTextとPEARLのコスト比較です。推定メモリはパラメータ数（float16）から計算されています。推論速度の単位は *ms/512 samples です。ここでのFastTextモデルは crawl-300d-2M-subword.bin です。

💻 使用例

基本的な使用法

Sentence Transformers

PEARLはSentence Transformersライブラリと統合されており、以下のように使用できます。

from sentence_transformers import SentenceTransformer, util

query_texts = ["The New York Times"]
doc_texts = [ "NYTimes", "New York Post", "New York"]
input_texts = query_texts + doc_texts

model = SentenceTransformer("Lihuchen/pearl_small")
embeddings = model.encode(input_texts)
scores = util.cos_sim(embeddings[0], embeddings[1:]) * 100
print(scores.tolist())
# [[90.56318664550781, 79.65763854980469, 75.52056121826172]]

Transformers

transformers を使用してPEARLを利用することもできます。以下はエンティティ検索の例であり、E5のコードを再利用しています。

import torch.nn.functional as F

from torch import Tensor
from transformers import AutoTokenizer, AutoModel


def average_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]

def encode_text(model, input_texts):
    # Tokenize the input texts
    batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

    outputs = model(**batch_dict)
    embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])
    
    return embeddings


query_texts = ["The New York Times"]
doc_texts = [ "NYTimes", "New York Post", "New York"]
input_texts = query_texts + doc_texts

tokenizer = AutoTokenizer.from_pretrained('Lihuchen/pearl_small')
model = AutoModel.from_pretrained('Lihuchen/pearl_small')

# encode
embeddings = encode_text(model, input_texts)

# calculate similarity
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:1] @ embeddings[1:].T) * 100
print(scores.tolist())

# expected outputs
# [[90.56318664550781, 79.65763854980469, 75.52054595947266]]

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。

🔖 引用

もしこの研究が役に立った場合は、以下のように引用してください。

@inproceedings{chen2024learning,
  title={Learning High-Quality and General-Purpose Phrase Representations},
  author={Chen, Lihu and Varoquaux, Gael and Suchanek, Fabian},
  booktitle={Findings of the Association for Computational Linguistics: EACL 2024},
  pages={983--994},
  year={2024}
}