Bge M3 Spa Law Qa

🚀 BGE large Legal Spanish

这是一个基于 sentence-transformers 库，从 BAAI/bge-m3 微调而来的模型。它可以将句子和段落映射到一个 1024 维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

🚀 快速开始

直接使用（Sentence Transformers）

首先安装 Sentence Transformers 库：

pip install -U sentence-transformers

然后，你可以加载这个模型并进行推理：

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载
model = SentenceTransformer("littlejohn-ai/bge-m3-spanish-boe-qa")
# 进行推理
sentences = [
    'El plazo máximo para resolver y notificar la resolución expresa que ponga fin al procedimiento será de nueve meses, a contar desde la fecha de inicio del procedimiento administrativo sancionador, que se corresponde con la fecha del acuerdo de incoación.',
    '¿Cuál es el plazo para la resolución del procedimiento sancionador en el caso de infracciones graves o muy graves?',
    '¿Cuál es el objetivo de la cooperación española para el desarrollo sostenible en relación con la igualdad de género?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 多任务适用性：可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等多种自然语言处理任务。
• 长序列处理：最大序列长度可达 8192 个标记，能够处理较长的文本。
• 高维输出：输出维度为 1024，能够捕捉丰富的语义信息。
• 余弦相似度：使用余弦相似度作为相似度度量，便于进行语义匹配。

📦 安装指南

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载
model = SentenceTransformer("littlejohn-ai/bge-m3-spanish-boe-qa")
# 进行推理
sentences = [
    'El plazo máximo para resolver y notificar la resolución expresa que ponga fin al procedimiento será de nueve meses, a contar desde la fecha de inicio del procedimiento administrativo sancionador, que se corresponde con la fecha del acuerdo de incoación.',
    '¿Cuál es el plazo para la resolución del procedimiento sancionador en el caso de infracciones graves o muy graves?',
    '¿Cuál es el objetivo de la cooperación española para el desarrollo sostenible en relación con la igualdad de género?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 仓库：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

评估

信息检索指标

训练详情

训练超参数

非默认超参数

• eval_strategy: epoch
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 16
• learning_rate: 2e-05
• num_train_epochs: 50
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• tf32: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• gradient_checkpointing: True
• batch_sampler: no_duplicates

所有超参数

训练日志

框架版本

• Python: 3.10.12
• Sentence Transformers: 3.0.1
• Transformers: 4.42.3
• PyTorch: 2.1.0+cu118
• Accelerate: 0.32.1
• Datasets: 2.20.0
• Tokenizers: 0.19.1

🔧 技术细节

微调过程

BGE-M3 模型的微调是通过先进的优化技术和超参数调整来完成的，重点在于提高其在法律语境中生成高质量嵌入的能力。

方法

1. 数据集准备：整理和预处理了一个包含 23,700 个条目的数据集，其中包括来自不同法律领域的详细问题、答案和上下文。
2. 训练：应用监督学习技术来调整模型的参数，优化其在生成嵌入方面的性能。
3. 评估：实施特定的指标来评估生成的嵌入的质量和相关性，确保高精度和上下文一致性。

结果和优势

嵌入质量

经过微调的 BGE-M3 模型现在显示出更强的能力，能够有效地捕捉法律语言和上下文的复杂性，从而显著提高了信息检索的准确性和相关性。

实际应用

• 信息检索系统：提高了法律搜索引擎的准确性，便于快速访问相关文档和判例法。
• 虚拟助手：优化了聊天机器人和法律助手，使其能够根据复杂的上下文提供准确的答案。
• 文档分析：增强了分析和从大量法律文本中提取关键信息的能力。

性能评估

• 嵌入准确性：针对特定法律查询生成的嵌入的准确性提高了 84%。
• 上下文相关性：检索到的信息的一致性和相关性提高了 67%。
• 处理时间：生成和检索相关信息所需的时间减少了 16%。

📄 许可证

本模型使用 apache-2.0 许可证。

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

术语表

引言

我们很高兴地宣布 BGE-M3 模型的微调工作已经完成，该模型专门针对引导式信息检索（RAG）应用进行了优化。此次微调使用了一个包含 23,700 个法律问题、答案和上下文的详细数据集，确保了模型在生成精确且相关的法律领域嵌入方面表现出色。

模型规格

• 基础模型：BGE-M3
• 数据集大小：23,700 个法律问题、答案和上下文
• 领域：法律
• 数据格式：结构化文本