Labse En Ru Myv V1

🚀 埃爾齊亞語句子編碼器

本項目是一個來自論文 The first neural machine translation system for the Erzya language 的埃爾齊亞語（myv，西裡爾字母）句子編碼器。它為埃爾齊亞語的自然語言處理任務提供了強大的支持，能夠生成高質量的句子嵌入，可用於多種下游任務。

🚀 快速開始

這個編碼器基於 sentence-transformers/LaBSE（此處查看許可證）構建，但更新了詞彙表和檢查點：

• 移除了除英語或俄語中最常用詞元之外的所有詞元；
• 為埃爾齊亞語添加了額外的詞元；
• 在 slone/myv_ru_2022 語料庫上使用多種任務進行了微調：
  • 使用平行的 ru-myv 語料庫，對原始 LaBSE 模型的句子嵌入進行跨語言蒸餾；
  • 在 myv 單語數據上進行掩碼語言模型訓練；
  • 進行句子對分類，以區分正確的 ru-myv 翻譯和隨機對。

該模型可用作埃爾齊亞語的句子編碼器或掩碼語言模型預測器，也可針對任何下游自然語言理解（NLU）任務進行微調。

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("slone/LaBSE-en-ru-myv-v1")
model = AutoModel.from_pretrained("slone/LaBSE-en-ru-myv-v1")
sentences = ["Hello World", "Привет Мир", "Шумбратадо Мастор"]
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
with torch.no_grad():
    model_output = model(**encoded_input)
embeddings = model_output.pooler_output
embeddings = torch.nn.functional.normalize(embeddings)
print(embeddings.shape)  # torch.Size([3, 768])

📄 許可證

本項目採用 CC BY-SA 4.0 許可證。