Bge M3 Spa Law Qa

🚀 BGE large Legal Spanish

這是一個基於 sentence-transformers 庫，從 BAAI/bge-m3 微調而來的模型。它可以將句子和段落映射到一個 1024 維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

直接使用（Sentence Transformers）

首先安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

然後，你可以加載這個模型並進行推理：

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載
model = SentenceTransformer("littlejohn-ai/bge-m3-spanish-boe-qa")
# 進行推理
sentences = [
    'El plazo máximo para resolver y notificar la resolución expresa que ponga fin al procedimiento será de nueve meses, a contar desde la fecha de inicio del procedimiento administrativo sancionador, que se corresponde con la fecha del acuerdo de incoación.',
    '¿Cuál es el plazo para la resolución del procedimiento sancionador en el caso de infracciones graves o muy graves?',
    '¿Cuál es el objetivo de la cooperación española para el desarrollo sostenible en relación con la igualdad de género?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 多任務適用性：可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等多種自然語言處理任務。
• 長序列處理：最大序列長度可達 8192 個標記，能夠處理較長的文本。
• 高維輸出：輸出維度為 1024，能夠捕捉豐富的語義信息。
• 餘弦相似度：使用餘弦相似度作為相似度度量，便於進行語義匹配。

📦 安裝指南

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載
model = SentenceTransformer("littlejohn-ai/bge-m3-spanish-boe-qa")
# 進行推理
sentences = [
    'El plazo máximo para resolver y notificar la resolución expresa que ponga fin al procedimiento será de nueve meses, a contar desde la fecha de inicio del procedimiento administrativo sancionador, que se corresponde con la fecha del acuerdo de incoación.',
    '¿Cuál es el plazo para la resolución del procedimiento sancionador en el caso de infracciones graves o muy graves?',
    '¿Cuál es el objetivo de la cooperación española para el desarrollo sostenible en relación con la igualdad de género?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 倉庫：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評估

信息檢索指標

訓練詳情

訓練超參數

非默認超參數

• eval_strategy: epoch
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 16
• learning_rate: 2e-05
• num_train_epochs: 50
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• tf32: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• gradient_checkpointing: True
• batch_sampler: no_duplicates

所有超參數

訓練日誌

框架版本

• Python: 3.10.12
• Sentence Transformers: 3.0.1
• Transformers: 4.42.3
• PyTorch: 2.1.0+cu118
• Accelerate: 0.32.1
• Datasets: 2.20.0
• Tokenizers: 0.19.1

🔧 技術細節

微調過程

BGE-M3 模型的微調是通過先進的優化技術和超參數調整來完成的，重點在於提高其在法律語境中生成高質量嵌入的能力。

方法

1. 數據集準備：整理和預處理了一個包含 23,700 個條目的數據集，其中包括來自不同法律領域的詳細問題、答案和上下文。
2. 訓練：應用監督學習技術來調整模型的參數，優化其在生成嵌入方面的性能。
3. 評估：實施特定的指標來評估生成的嵌入的質量和相關性，確保高精度和上下文一致性。

結果和優勢

嵌入質量

經過微調的 BGE-M3 模型現在顯示出更強的能力，能夠有效地捕捉法律語言和上下文的複雜性，從而顯著提高了信息檢索的準確性和相關性。

實際應用

• 信息檢索系統：提高了法律搜索引擎的準確性，便於快速訪問相關文檔和判例法。
• 虛擬助手：優化了聊天機器人和法律助手，使其能夠根據複雜的上下文提供準確的答案。
• 文檔分析：增強了分析和從大量法律文本中提取關鍵信息的能力。

性能評估

• 嵌入準確性：針對特定法律查詢生成的嵌入的準確性提高了 84%。
• 上下文相關性：檢索到的信息的一致性和相關性提高了 67%。
• 處理時間：生成和檢索相關信息所需的時間減少了 16%。

📄 許可證

本模型使用 apache-2.0 許可證。

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

術語表

引言

我們很高興地宣佈 BGE-M3 模型的微調工作已經完成，該模型專門針對引導式信息檢索（RAG）應用進行了優化。此次微調使用了一個包含 23,700 個法律問題、答案和上下文的詳細數據集，確保了模型在生成精確且相關的法律領域嵌入方面表現出色。

模型規格

• 基礎模型：BGE-M3
• 數據集大小：23,700 個法律問題、答案和上下文
• 領域：法律
• 數據格式：結構化文本