Xlm Roberta Ua Distilled

🚀 基于FacebookAI/xlm-roberta-base的句子转换器

本模型是基于 FacebookAI/xlm-roberta-base 微调的 sentence-transformers 模型。它能将句子和段落映射到一个768维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

👉 查看 GitHub 上的模型。

🚀 快速开始

本模型是基于 FacebookAI/xlm-roberta-base 微调的 sentence-transformers 模型，可将句子和段落映射到768维的密集向量空间，用于语义文本相似度计算、语义搜索等任务。

✨ 主要特性

• 多语言支持：支持乌克兰语和英语。
• 高维向量表示：将文本映射到768维的密集向量空间。
• 多种应用场景：可用于语义文本相似度、语义搜索、释义挖掘、文本分类、聚类等。

📦 安装指南

首先安装 Sentence Transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载
model = SentenceTransformer("panalexeu/xlm-roberta-ua-distilled")
# 运行推理
sentences = [
    "You'd better consult the doctor.",
    'Краще проконсультуйся у лікаря.',
    'Їх позначають як Aufklärungsfahrzeug 93 та Aufklärungsfahrzeug 97 відповідно.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 详细文档

模型详情

模型来源

• 文档：Sentence Transformers 文档
• 仓库：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

评估

知识蒸馏

• 数据集：mse-en-ua
• 使用 MSEEvaluator 进行评估

语义相似度

• 数据集：sts17-en-en、sts17-en-ua 和 sts17-ua-ua
• 使用 EmbeddingSimilarityEvaluator 进行评估

训练详情

训练数据集

• 数据集：parallel-sentences-talks、parallel-sentences-wikimatrix、parallel-sentences-tatoeba
• 大小：523,982 个训练样本
• 列：english、non_english 和 label
• 基于前1000个样本的近似统计信息：

  	英语	非英语	标签
  类型	字符串	字符串	列表
  详情	最小：5个标记 平均：21.11个标记 最大：254个标记	最小：4个标记 平均：23.15个标记 最大：293个标记	大小：768个元素

• 样本：

  英语	非英语	标签
  Her real name is Lydia (リディア, Ridia), but she was mistaken for a boy and called Ricard.	Справжнє ім'я — Лідія, але її помилково сприйняли за хлопчика і назвали Рікард.	[0.15217968821525574, -0.17830222845077515, -0.12677159905433655, 0.22082313895225525, 0.40085524320602417, ...]
  (Applause) So he didn't just learn water.	(Аплодисменти) Він не тільки вивчив слово "вода".	[-0.1058148592710495, -0.08846072107553482, -0.2684604823589325, -0.105219267308712, 0.3050258755683899, ...]
  It is tightly integrated with SAM, the Storage and Archive Manager, and hence is often referred to as SAM-QFS.	Вона тісно інтегрована з SAM (Storage and Archive Manager), тому часто називається SAM-QFS.	[0.03270340710878372, -0.45798248052597046, -0.20090211927890778, 0.006579531356692314, -0.03178019821643829, ...]

• 损失函数：MSELoss

评估数据集

• 数据集：parallel-sentences-talks、parallel-sentences-wikimatrix、parallel-sentences-tatoeba
• 大小：3,838 个评估样本
• 列：english、non_english 和 label
• 基于前1000个样本的近似统计信息：

  	英语	非英语	标签
  类型	字符串	字符串	列表
  详情	最小：5个标记 平均：15.64个标记 最大：143个标记	最小：5个标记 平均：16.98个标记 最大：148个标记	大小：768个元素

• 样本：

  英语	非英语	标签
  I have lost my wallet.	Я загубив гаманець.	[-0.11186987161636353, -0.03419225662946701, -0.31304317712783813, 0.0838347002863884, 0.108644500374794, ...]
  It's a pharmaceutical product.	Це фармацевтичний продукт.	[0.04133488982915878, -0.4182000756263733, -0.30786487460136414, -0.09351564198732376, -0.023946482688188553, ...]
  We've all heard of the Casual Friday thing.	Всі ми чули про «джинсову п’ятницю» (вільна форма одягу).	[-0.10697802156209946, 0.21002227067947388, -0.2513434886932373, -0.3718843460083008, 0.06871984899044037, ...]

• 损失函数：MSELoss

训练超参数

非默认超参数

• eval_strategy：按步骤评估
• per_device_train_batch_size：16
• per_device_eval_batch_size：16
• gradient_accumulation_steps：3
• num_train_epochs：4
• warmup_ratio：0.1

所有超参数

训练日志

框架版本

• Python：3.11.11
• Sentence Transformers：3.4.1
• Transformers：4.51.1
• PyTorch：2.5.1+cu124
• Accelerate：1.3.0
• Datasets：3.5.0
• Tokenizers：0.21.0

📄 许可证

本模型使用 MIT 许可证。

🔖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MSELoss

@inproceedings{reimers-2020-multilingual-sentence-bert,
    title = "Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2020",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/2004.09813",
}