Labse En Ru

🚀 英語とロシア語用LaBSE

このモデルは、sentence - transformers/LaBSEのトランケート版です。sentence - transformers/LaBSEは、GoogleによるLaBSEのポートです。現在のモデルの語彙には、英語とロシア語のトークンのみが残されています。そのため、語彙は元の10%、モデル全体のパラメータ数は元の27%になっていますが、英語とロシア語の埋め込み品質には何の損失もありません。

🚀 クイックスタート

文章の埋め込みを取得するには、以下のコードを使用できます。

import torch
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("cointegrated/LaBSE-en-ru")
model = AutoModel.from_pretrained("cointegrated/LaBSE-en-ru")
sentences = ["Hello World", "Привет Мир"]
encoded_input = tokenizer(sentences, padding=True, truncation=True, max_length=64, return_tensors='pt')
with torch.no_grad():
    model_output = model(**encoded_input)
embeddings = model_output.pooler_output
embeddings = torch.nn.functional.normalize(embeddings)
print(embeddings)

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("cointegrated/LaBSE-en-ru")
model = AutoModel.from_pretrained("cointegrated/LaBSE-en-ru")
sentences = ["Hello World", "Привет Мир"]
encoded_input = tokenizer(sentences, padding=True, truncation=True, max_length=64, return_tensors='pt')
with torch.no_grad():
    model_output = model(**encoded_input)
embeddings = model_output.pooler_output
embeddings = torch.nn.functional.normalize(embeddings)
print(embeddings)

📚 ドキュメント

このモデルは、このノートブックでトランケートされています。他の言語（例：EIStakovskii/LaBSE - fr - de）、モデル、またはデータセットに適用することができます。

🔖 参考文献

Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Narveen Ari, Wei Wang. Language - agnostic BERT Sentence Embedding. July 2020

📄 ライセンス

https://tfhub.dev/google/LaBSE/1