Bge M3 Spa Law Qa

🚀 BGE large Legal Spanish

このモデルは、sentence-transformers ライブラリに基づき、BAAI/bge-m3 から微調整されたものです。文章や段落を 1024 次元の密ベクトル空間にマッピングすることができ、意味的なテキスト類似度計算、意味検索、言い換えマイニング、テキスト分類、クラスタリングなどのタスクに利用できます。

🚀 クイックスタート

直接使用（Sentence Transformers）

まず、Sentence Transformers ライブラリをインストールします。

pip install -U sentence-transformers

次に、このモデルをロードして推論を行うことができます。

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载
model = SentenceTransformer("littlejohn-ai/bge-m3-spanish-boe-qa")
# 进行推理
sentences = [
    'El plazo máximo para resolver y notificar la resolución expresa que ponga fin al procedimiento será de nueve meses, a contar desde la fecha de inicio del procedimiento administrativo sancionador, que se corresponde con la fecha del acuerdo de incoación.',
    '¿Cuál es el plazo para la resolución del procedimiento sancionador en el caso de infracciones graves o muy graves?',
    '¿Cuál es el objetivo de la cooperación española para el desarrollo sostenible en relación con la igualdad de género?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主な機能

• 多タスク適用性：意味的なテキスト類似度計算、意味検索、言い換えマイニング、テキスト分類、クラスタリングなど、様々な自然言語処理タスクに使用できます。
• 長シーケンス処理：最大シーケンス長は 8192 トークンまでで、長いテキストを処理することができます。
• 高次元出力：出力次元は 1024 で、豊富な意味情報を捉えることができます。
• コサイン類似度：類似度の測定にコサイン類似度を使用しており、意味的なマッチングが容易です。

📦 インストール

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载
model = SentenceTransformer("littlejohn-ai/bge-m3-spanish-boe-qa")
# 进行推理
sentences = [
    'El plazo máximo para resolver y notificar la resolución expresa que ponga fin al procedimiento será de nueve meses, a contar desde la fecha de inicio del procedimiento administrativo sancionador, que se corresponde con la fecha del acuerdo de incoación.',
    '¿Cuál es el plazo para la resolución del procedimiento sancionador en el caso de infracciones graves o muy graves?',
    '¿Cuál es el objetivo de la cooperación española para el desarrollo sostenible en relación con la igualdad de género?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 ドキュメント

モデル詳細

モデルの説明

モデルの出所

• ドキュメント：Sentence Transformers ドキュメント
• リポジトリ：GitHub 上の Sentence Transformers
• Hugging Face：Hugging Face 上の Sentence Transformers

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評価

情報検索指標

学習詳細

学習ハイパーパラメータ

非デフォルトのハイパーパラメータ

• eval_strategy: epoch
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 16
• learning_rate: 2e-05
• num_train_epochs: 50
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• tf32: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• gradient_checkpointing: True
• batch_sampler: no_duplicates

すべてのハイパーパラメータ

学習ログ

フレームワークのバージョン

• Python: 3.10.12
• Sentence Transformers: 3.0.1
• Transformers: 4.42.3
• PyTorch: 2.1.0+cu118
• Accelerate: 0.32.1
• Datasets: 2.20.0
• Tokenizers: 0.19.1

🔧 技術詳細

微調整プロセス

BGE-M3 モデルの微調整は、高度な最適化技術とハイパーパラメータの調整によって行われ、法的文脈における高品質な埋め込みを生成する能力を向上させることに重点が置かれています。

方法

1. データセットの準備：23,700 個のエントリを含むデータセットを整理し、前処理しました。これには、さまざまな法的分野の詳細な質問、回答、およびコンテキストが含まれています。
2. 学習：教師あり学習技術を適用して、モデルのパラメータを調整し、埋め込み生成の性能を最適化します。
3. 評価：生成された埋め込みの品質と関連性を評価するために、特定の指標を実装し、高精度とコンテキストの一貫性を確保します。

結果と利点

埋め込みの品質

微調整された BGE-M3 モデルは、法的言語とコンテキストの複雑さを効果的に捉える能力が向上しており、情報検索の精度と関連性が大幅に向上しています。

実際の応用

• 情報検索システム：法的検索エンジンの精度が向上し、関連する文書や判例法に迅速にアクセスできるようになります。
• バーチャルアシスタント：チャットボットや法的アシスタントが最適化され、複雑なコンテキストに基づいて正確な回答を提供できるようになります。
• 文書分析：大量の法的テキストから重要な情報を分析して抽出する能力が強化されます。

性能評価

• 埋め込みの精度：特定の法的クエリに対して生成される埋め込みの精度が 84% 向上しました。
• コンテキストの関連性：検索された情報の一貫性と関連性が 67% 向上しました。
• 処理時間：関連情報の生成と検索に必要な時間が 16% 削減されました。

📄 ライセンス

このモデルは apache-2.0 ライセンスで提供されています。

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

用語集

はじめに

私たちは、BGE-M3 モデルの微調整作業が完了したことを嬉しく思います。このモデルは、誘導型情報検索（RAG）アプリケーションに特化して最適化されています。この微調整では、23,700 個の法的質問、回答、およびコンテキストを含む詳細なデータセットを使用し、法的分野で正確かつ関連性の高い埋め込みを生成する能力を確保しています。

モデル仕様

• ベースモデル：BGE-M3
• データセットサイズ：23,700 個の法的質問、回答、およびコンテキスト
• 分野：法律
• データ形式：構造化テキスト