Vietnamese Embedding

🚀 越南语句子嵌入模型

vietnamese-embedding 是专门为越南语设计的句子嵌入模型。该模型基于 PhoBERT（一种基于 RoBERTa 架构的预训练语言模型），能够将越南语句子编码为 768 维的向量空间，可广泛应用于语义搜索、文本聚类等领域。

✨ 主要特性

• 专为越南语设计，能够捕捉越南语句子的细微语义。
• 基于 PhoBERT 架构，具有强大的语言理解能力。
• 经过多阶段的训练和微调，在越南语语义文本相似度任务上表现出色。

📦 安装指南

使用此模型前，你需要安装 sentence-transformers 和 pyvi：

pip install -U sentence-transformers
pip install -q pyvi

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer
from pyvi.ViTokenizer import tokenize

sentences = ["Hà Nội là thủ đô của Việt Nam", "Đà Nẵng là thành phố du lịch"]
tokenizer_sent = [tokenize(sent) for sent in sentences]

model = SentenceTransformer('dangvantuan/vietnamese-embedding')
embeddings = model.encode(tokenizer_sent)
print(embeddings)

📚 详细文档

模型描述

vietnamese-embedding 是越南语的嵌入模型。该模型是专门为越南语训练的句子嵌入模型，利用了基于 RoBERTa 架构的预训练语言模型 PhoBERT 的强大能力。 该模型使用 PhoBERT 将越南语句子编码到 768 维的向量空间中，便于从语义搜索到文本聚类等广泛应用。嵌入能够捕捉越南语句子的细微含义，反映语言的词汇和上下文层面。

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

训练和微调过程

该模型经过了严格的四阶段训练和微调过程，每个阶段都旨在增强其为越南语生成精确且上下文相关的句子嵌入的能力。以下是这些阶段的概述：

阶段 1：初始训练

• 数据集：ViNLI-SimCSE-supervised
• 方法：使用 SimCSE 方法 进行训练，该方法采用监督对比学习框架。使用 Triplet Loss 对模型进行优化，以有效地从高质量的标注句子对中学习。

阶段 2：持续微调

• 数据集：XNLI-vn
• 方法：使用多负排名损失继续微调。此阶段专注于提高模型辨别和排名句子语义细微差异的能力。

阶段 3：在 STS 基准上进行语义文本相似度的持续微调

• 数据集：STSB-vn
• 方法：使用配置了 sentence-transformers 库的 Siamese BERT 网络，专门针对语义文本相似度基准进行微调。此阶段提高了模型在捕捉各种类型越南语文本语义相似度方面的精度。

阶段 4：高级增强微调

• 数据集：带有从 金样本生成的银样本 的 STSB-vn
• 方法：采用使用 增强 SBERT 和对采样策略的高级策略，集成了交叉编码器和双编码器模型。此阶段通过动态丰富训练数据进一步优化了嵌入，增强了模型在理解和处理复杂越南语结构方面的鲁棒性和准确性。

评估

可以在 越南语 STSB 数据集 上对模型进行如下评估：

from sentence_transformers import SentenceTransformer
from sentence_transformers import SentenceTransformer
from sentence_transformers.readers import InputExample
from datasets import load_dataset
from pyvi.ViTokenizer import tokenize

def convert_dataset(dataset):
    dataset_samples = []
    for df in dataset:
        score = float(df['score']) / 5.0  # 归一化分数到 0 ... 1 范围
        inp_example = InputExample(texts=[tokenize(df['sentence1']), 
                                    tokenize(df['sentence2'])], label=score)
        dataset_samples.append(inp_example)
    return dataset_samples

# 加载评估数据集
vi_sts = load_dataset("doanhieung/vi-stsbenchmark")["train"]
df_dev = vi_sts.filter(lambda example: example['split'] == 'dev')
df_test = vi_sts.filter(lambda example: example['split'] == 'test')

# 转换评估数据集
# 验证集
dev_samples = convert_dataset(df_dev)
val_evaluator = EmbeddingSimilarityEvaluator.from_input_examples(dev_samples, name='sts-dev')
val_evaluator(model, output_path="./")

# 测试集
test_samples = convert_dataset(df_test)
test_evaluator = EmbeddingSimilarityEvaluator.from_input_examples(test_samples, name='sts-test')
test_evaluator(model, output_path="./")

测试结果

使用 Pearson 和 Spearman 相关性来衡量性能：

验证集结果

STS 基准上的语义文本相似度 所有数据集的指标

你可以在这个 Colab 上运行评估。

Pearson 分数

Spearman 分数

📄 许可证

本项目采用 Apache-2.0 许可证。

📚 引用

@article{reimers2019sentence,
   title={Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks},
   author={Nils Reimers, Iryna Gurevych},
   journal={https://arxiv.org/abs/1908.10084},
   year={2019}
}

@article{martin2020camembert,
   title={CamemBERT: a Tasty French Language Mode},
   author={Martin, Louis and Muller, Benjamin and Suárez, Pedro Javier Ortiz and Dupont, Yoann and Romary, Laurent and de la Clergerie, Éric Villemonte and Seddah, Djamé and Sagot, Benoît},
   journal={Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics},
   year={2020}
}

@article{thakur2020augmented,
  title={Augmented SBERT: Data Augmentation Method for Improving Bi-Encoders for Pairwise Sentence Scoring Tasks},
  author={Thakur, Nandan and Reimers, Nils and Daxenberger, Johannes and Gurevych, Iryna},
  journal={arXiv e-prints},
  pages={arXiv--2010},
  year={2020}
}