Paraphrase Spanish Distilroberta

🚀 西班牙语释义蒸馏罗伯塔模型（paraphrase-spanish-distilroberta）

这是一个 句子转换器（sentence-transformers） 模型，它能将句子和段落映射到一个 768 维的密集向量空间，可用于聚类或语义搜索等任务。我们采用师生迁移学习方法，使用平行的英 - 西句子对来训练 bertin-roberta-base-spanish 模型。

🚀 快速开始

安装依赖

若要使用此模型，需安装 sentence-transformers：

pip install -U sentence-transformers

模型使用

使用 sentence-transformers 库

安装好 sentence-transformers 后，使用该模型就变得很简单：

from sentence_transformers import SentenceTransformer
sentences = ["Este es un ejemplo", "Cada oración es transformada"]

model = SentenceTransformer('hackathon-pln-es/paraphrase-spanish-distilroberta')
embeddings = model.encode(sentences)
print(embeddings)

使用 HuggingFace Transformers 库

若未安装 sentence-transformers，也可以使用该模型。首先，将输入数据传入变压器模型，然后对上下文词嵌入应用正确的池化操作。

from transformers import AutoTokenizer, AutoModel
import torch
import torch.nn.functional as F

# 均值池化 - 考虑注意力掩码以进行正确平均
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] # 模型输出的第一个元素包含所有词嵌入
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

# 我们需要句子嵌入的句子
sentences = ['Este es un ejemplo", "Cada oración es transformada']

# 从 HuggingFace Hub 加载模型
tokenizer = AutoTokenizer.from_pretrained('hackathon-pln-es/paraphrase-spanish-distilroberta')
model = AutoModel.from_pretrained('hackathon-pln-es/paraphrase-spanish-distilroberta')

# 对句子进行分词
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# 计算词嵌入
with torch.no_grad():
    model_output = model(**encoded_input)

# 执行池化
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

# 归一化嵌入
sentence_embeddings = F.normalize(sentence_embeddings, p=2, dim=1)

print("Sentence embeddings:")
print(sentence_embeddings)

✨ 主要特性

• 向量映射：能将句子和段落映射到 768 维的密集向量空间。
• 迁移学习：采用师生迁移学习方法，使用平行英 - 西句子对训练。
• 多语言支持：是一个双语的西班牙语 - 英语模型。

📦 安装指南

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer
sentences = ["Este es un ejemplo", "Cada oración es transformada"]

model = SentenceTransformer('hackathon-pln-es/paraphrase-spanish-distilroberta')
embeddings = model.encode(sentences)
print(embeddings)

高级用法

from transformers import AutoTokenizer, AutoModel
import torch
import torch.nn.functional as F

# 均值池化 - 考虑注意力掩码以进行正确平均
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] # 模型输出的第一个元素包含所有词嵌入
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

# 我们需要句子嵌入的句子
sentences = ['Este es un ejemplo", "Cada oración es transformada']

# 从 HuggingFace Hub 加载模型
tokenizer = AutoTokenizer.from_pretrained('hackathon-pln-es/paraphrase-spanish-distilroberta')
model = AutoModel.from_pretrained('hackathon-pln-es/paraphrase-spanish-distilroberta')

# 对句子进行分词
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# 计算词嵌入
with torch.no_grad():
    model_output = model(**encoded_input)

# 执行池化
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

# 归一化嵌入
sentence_embeddings = F.normalize(sentence_embeddings, p=2, dim=1)

print("Sentence embeddings:")
print(sentence_embeddings)

📚 详细文档

模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
)

评估结果

在 STS-2017.es-en.txt 和 STS-2017.es-es.txt（为评估目的手动翻译）上进行相似度评估。我们测量不同语言句子对之间的语义文本相似度（STS）：

西班牙语 - 西班牙语（ES-ES）

西班牙语 - 英语（ES-EN）

预期用途

我们的模型旨在用作句子和短段落编码器。给定输入文本，它会输出一个捕获语义信息的向量。该句子向量可用于信息检索、聚类或句子相似度任务。

背景

此模型是一个双语的西班牙语 - 英语模型，根据论文 《使用知识蒸馏使单语言句子嵌入多语言化》 中的说明以及其配套 Python 包的 文档 进行训练。我们使用了最强的可用预训练英语双编码器（paraphrase-mpnet-base-v2）作为教师模型，使用预训练的西班牙语 BERTIN 作为学生模型。

该模型是在由 hackathon-pln-es 组织举办的 2022 年西班牙语自然语言处理黑客马拉松 期间开发的。

训练数据

我们使用了多个包含句子对（英语 - 西班牙语）的数据集的拼接。可以查看训练期间使用的数据集：parallel-sentences

🔧 技术细节

• 训练方法：采用师生迁移学习方法，使用平行英 - 西句子对训练。
• 模型架构：SentenceTransformer 包含 Transformer 和 Pooling 模块。
• 评估指标：使用多种相似度指标（余弦、曼哈顿、欧几里得、点积）的皮尔逊和斯皮尔曼系数进行评估。

📄 许可证

文档中未提及相关许可证信息。

👨‍💻 作者

• Anibal Pérez
• Emilio Tomás Ariza
• Lautaro Gesuelli Pinto
• Mauricio Mazuecos