Smaller LaBSE

🚀 LaBSE

LaBSE（Smaller Language-agnostic BERT Sentence Encoder）是一款用於句子相似度計算的多語言模型，支持包括阿拉伯語、德語、英語等在內的15種語言。它基於BERT架構，從原始的LaBSE模型蒸餾而來，可有效進行跨語言句子嵌入和相似度計算。

🚀 快速開始

模型使用

以下是使用該模型的示例代碼：

import torch
from transformers import BertModel, BertTokenizerFast

tokenizer = BertTokenizerFast.from_pretrained("setu4993/smaller-LaBSE")
model = BertModel.from_pretrained("setu4993/smaller-LaBSE")
model = model.eval()

english_sentences = [
    "dog",
    "Puppies are nice.",
    "I enjoy taking long walks along the beach with my dog.",
]
english_inputs = tokenizer(english_sentences, return_tensors="pt", padding=True)

with torch.no_grad():
    english_outputs = model(**english_inputs)

獲取句子嵌入

要獲取句子嵌入，可以使用池化層輸出：

english_embeddings = english_outputs.pooler_output

其他語言輸出示例

以下是意大利語和日語句子的處理示例：

italian_sentences = [
    "cane",
    "I cuccioli sono carini.",
    "Mi piace fare lunghe passeggiate lungo la spiaggia con il mio cane.",
]
japanese_sentences = ["犬", "子犬はいいです", "私は犬と一緒にビーチを散歩するのが好きです"]
italian_inputs = tokenizer(italian_sentences, return_tensors="pt", padding=True)
japanese_inputs = tokenizer(japanese_sentences, return_tensors="pt", padding=True)

with torch.no_grad():
    italian_outputs = model(**italian_inputs)
    japanese_outputs = model(**japanese_inputs)

italian_embeddings = italian_outputs.pooler_output
japanese_embeddings = japanese_outputs.pooler_output

句子相似度計算

在計算句子相似度之前，建議先進行L2歸一化：

import torch.nn.functional as F

def similarity(embeddings_1, embeddings_2):
    normalized_embeddings_1 = F.normalize(embeddings_1, p=2)
    normalized_embeddings_2 = F.normalize(embeddings_2, p=2)
    return torch.matmul(
        normalized_embeddings_1, normalized_embeddings_2.transpose(0, 1)
    )

print(similarity(english_embeddings, italian_embeddings))
print(similarity(english_embeddings, japanese_embeddings))
print(similarity(italian_embeddings, japanese_embeddings))

✨ 主要特性

• 多語言支持：支持15種語言，包括阿拉伯語、德語、英語、西班牙語、法語等。
• 基於BERT架構：利用BERT的強大能力進行句子編碼。
• 模型蒸餾：從原始的LaBSE模型蒸餾而來，減小了模型規模。

📦 模型信息

📚 詳細文檔

關於數據、訓練、評估和性能指標的詳細信息，請參考原始論文。

BibTeX引用

@misc{feng2020languageagnostic,
      title={Language-agnostic BERT Sentence Embedding},
      author={Fangxiaoyu Feng and Yinfei Yang and Daniel Cer and Naveen Arivazhagan and Wei Wang},
      year={2020},
      eprint={2007.01852},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}