Vietnamese Embedding

🚀 越南語句子嵌入模型

vietnamese-embedding 是專門為越南語設計的句子嵌入模型。該模型基於 PhoBERT（一種基於 RoBERTa 架構的預訓練語言模型），能夠將越南語句子編碼為 768 維的向量空間，可廣泛應用於語義搜索、文本聚類等領域。

✨ 主要特性

• 專為越南語設計，能夠捕捉越南語句子的細微語義。
• 基於 PhoBERT 架構，具有強大的語言理解能力。
• 經過多階段的訓練和微調，在越南語語義文本相似度任務上表現出色。

📦 安裝指南

使用此模型前，你需要安裝 sentence-transformers 和 pyvi：

pip install -U sentence-transformers
pip install -q pyvi

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer
from pyvi.ViTokenizer import tokenize

sentences = ["Hà Nội là thủ đô của Việt Nam", "Đà Nẵng là thành phố du lịch"]
tokenizer_sent = [tokenize(sent) for sent in sentences]

model = SentenceTransformer('dangvantuan/vietnamese-embedding')
embeddings = model.encode(tokenizer_sent)
print(embeddings)

📚 詳細文檔

模型描述

vietnamese-embedding 是越南語的嵌入模型。該模型是專門為越南語訓練的句子嵌入模型，利用了基於 RoBERTa 架構的預訓練語言模型 PhoBERT 的強大能力。 該模型使用 PhoBERT 將越南語句子編碼到 768 維的向量空間中，便於從語義搜索到文本聚類等廣泛應用。嵌入能夠捕捉越南語句子的細微含義，反映語言的詞彙和上下文層面。

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

訓練和微調過程

該模型經過了嚴格的四階段訓練和微調過程，每個階段都旨在增強其為越南語生成精確且上下文相關的句子嵌入的能力。以下是這些階段的概述：

階段 1：初始訓練

• 數據集：ViNLI-SimCSE-supervised
• 方法：使用 SimCSE 方法 進行訓練，該方法採用監督對比學習框架。使用 Triplet Loss 對模型進行優化，以有效地從高質量的標註句子對中學習。

階段 2：持續微調

• 數據集：XNLI-vn
• 方法：使用多負排名損失繼續微調。此階段專注於提高模型辨別和排名句子語義細微差異的能力。

階段 3：在 STS 基準上進行語義文本相似度的持續微調

• 數據集：STSB-vn
• 方法：使用配置了 sentence-transformers 庫的 Siamese BERT 網絡，專門針對語義文本相似度基準進行微調。此階段提高了模型在捕捉各種類型越南語文本語義相似度方面的精度。

階段 4：高級增強微調

• 數據集：帶有從 金樣本生成的銀樣本 的 STSB-vn
• 方法：採用使用 增強 SBERT 和對採樣策略的高級策略，集成了交叉編碼器和雙編碼器模型。此階段通過動態豐富訓練數據進一步優化了嵌入，增強了模型在理解和處理複雜越南語結構方面的魯棒性和準確性。

評估

可以在 越南語 STSB 數據集 上對模型進行如下評估：

from sentence_transformers import SentenceTransformer
from sentence_transformers import SentenceTransformer
from sentence_transformers.readers import InputExample
from datasets import load_dataset
from pyvi.ViTokenizer import tokenize

def convert_dataset(dataset):
    dataset_samples = []
    for df in dataset:
        score = float(df['score']) / 5.0  # 歸一化分數到 0 ... 1 範圍
        inp_example = InputExample(texts=[tokenize(df['sentence1']), 
                                    tokenize(df['sentence2'])], label=score)
        dataset_samples.append(inp_example)
    return dataset_samples

# 加載評估數據集
vi_sts = load_dataset("doanhieung/vi-stsbenchmark")["train"]
df_dev = vi_sts.filter(lambda example: example['split'] == 'dev')
df_test = vi_sts.filter(lambda example: example['split'] == 'test')

# 轉換評估數據集
# 驗證集
dev_samples = convert_dataset(df_dev)
val_evaluator = EmbeddingSimilarityEvaluator.from_input_examples(dev_samples, name='sts-dev')
val_evaluator(model, output_path="./")

# 測試集
test_samples = convert_dataset(df_test)
test_evaluator = EmbeddingSimilarityEvaluator.from_input_examples(test_samples, name='sts-test')
test_evaluator(model, output_path="./")

測試結果

使用 Pearson 和 Spearman 相關性來衡量性能：

驗證集結果

STS 基準上的語義文本相似度 所有數據集的指標

你可以在這個 Colab 上運行評估。

Pearson 分數

Spearman 分數

📄 許可證

本項目採用 Apache-2.0 許可證。

📚 引用

@article{reimers2019sentence,
   title={Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks},
   author={Nils Reimers, Iryna Gurevych},
   journal={https://arxiv.org/abs/1908.10084},
   year={2019}
}

@article{martin2020camembert,
   title={CamemBERT: a Tasty French Language Mode},
   author={Martin, Louis and Muller, Benjamin and Suárez, Pedro Javier Ortiz and Dupont, Yoann and Romary, Laurent and de la Clergerie, Éric Villemonte and Seddah, Djamé and Sagot, Benoît},
   journal={Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics},
   year={2020}
}

@article{thakur2020augmented,
  title={Augmented SBERT: Data Augmentation Method for Improving Bi-Encoders for Pairwise Sentence Scoring Tasks},
  author={Thakur, Nandan and Reimers, Nils and Daxenberger, Johannes and Gurevych, Iryna},
  journal={arXiv e-prints},
  pages={arXiv--2010},
  year={2020}
}