Labse En Ru

🚀 適用於英語和俄語的LaBSE模型

這是一個經過優化的模型，可高效生成英語和俄語的句子嵌入，在減少參數的同時保持了高質量的特徵提取能力。

🚀 快速開始

本模型是 sentence-transformers/LaBSE 的精簡版本，而該模型又是谷歌 LaBSE 的移植版本。當前模型的詞彙表僅保留了英語和俄語的標記。因此，詞彙表大小僅為原始模型的10%，整個模型的參數數量為原始模型的27%，同時英語和俄語嵌入的質量沒有任何損失。

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("cointegrated/LaBSE-en-ru")
model = AutoModel.from_pretrained("cointegrated/LaBSE-en-ru")
sentences = ["Hello World", "Привет Мир"]
encoded_input = tokenizer(sentences, padding=True, truncation=True, max_length=64, return_tensors='pt')
with torch.no_grad():
    model_output = model(**encoded_input)
embeddings = model_output.pooler_output
embeddings = torch.nn.functional.normalize(embeddings)
print(embeddings)

高級用法

你可以根據實際需求對模型進行修改，以適應其他語言（如 EIStakovskii/LaBSE-fr-de）、模型或數據集。模型的精簡過程在 此筆記本 中完成。

📚 詳細文檔

參考文獻

Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Narveen Ari, Wei Wang. Language-agnostic BERT Sentence Embedding. July 2020

📄 許可證

https://tfhub.dev/google/LaBSE/1