Dek21 Hcmute Embedding

🚀 DEk21_hcmute_embedding

DEk21_hcmute_embedding 是一个专注于检索增强生成（RAG）和生产效率的越南语文本嵌入模型：

📚 训练数据集：该模型在一个内部数据集上进行训练，该数据集包含大约 100,000 个法律问题及其相关上下文的示例。

🪆 效率：使用 套娃损失（Matryoshka loss） 进行训练，允许在最小化性能损失的情况下截断嵌入。这确保了较小的嵌入在比较时速度更快，使模型在实际生产中高效实用。

🚀 快速开始

直接使用（Sentence Transformers）

首先安装 Sentence Transformers 库：

pip install -U sentence-transformers

然后，你可以加载这个模型并进行推理。

from sentence_transformers import SentenceTransformer
import torch

# 从 🤗 Hub 下载
model = SentenceTransformer("huyydangg/DEk21_hcmute_embedding")

# 定义查询（法律问题）和文档（法律法规）
query = "Điều kiện để kết hôn hợp pháp là gì?"
docs = [
    "Điều 8 Bộ luật Dân sự 2015 quy định về quyền và nghĩa vụ của công dân trong quan hệ gia đình.",
    "Điều 18 Luật Hôn nhân và gia đình 2014 quy định về độ tuổi kết hôn của nam và nữ.",
    "Điều 14 Bộ luật Dân sự 2015 quy định về quyền và nghĩa vụ của cá nhân khi tham gia hợp đồng.",
    "Điều 27 Luật Hôn nhân và gia đình 2014 quy định về các trường hợp không được kết hôn.",
    "Điều 51 Luật Hôn nhân và gia đình 2014 quy định về việc kết hôn giữa công dân Việt Nam và người nước ngoài."
]

# 对查询和文档进行编码
query_embedding = model.encode([query])
doc_embeddings = model.encode(docs)
similarities = torch.nn.functional.cosine_similarity(
    torch.tensor(query_embedding), torch.tensor(doc_embeddings)
).flatten()

# 按余弦相似度对文档进行排序
sorted_indices = torch.argsort(similarities, descending=True)
sorted_docs = [docs[idx] for idx in sorted_indices]
sorted_scores = [similarities[idx].item() for idx in sorted_indices]

# 打印排序后的文档及其余弦相似度得分
for doc, score in zip(sorted_docs, sorted_scores):
    print(f"Document: {doc} - Cosine Similarity: {score:.4f}")

✨ 主要特性

• 专注特定场景：专注于 RAG 和生产效率，适用于法律领域的文本嵌入任务。
• 高效训练：使用套娃损失（Matryoshka loss）训练，在截断嵌入时能保持性能稳定，提高比较效率。

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 仓库：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

评估

指标

信息检索

• 数据集：another-symato/VMTEB-Zalo-legel-retrieval-wseg
• 使用 InformationRetrievalEvaluator 进行评估

📄 许可证

本模型使用 Apache-2.0 许可证。

📚 引用

你可以按以下方式引用我们的工作：

@misc{DEk21_hcmute_embedding,
  title={DEk21_hcmute_embedding: A Vietnamese Text Embedding},
  author={QUANG HUY},
  year={2025},
  publisher={Huggingface},
}

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

套娃损失（MatryoshkaLoss）

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

多负排名损失（MultipleNegativesRankingLoss）

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}