🚀 BGE large Legal Spanish
This model, based on sentence-transformers
, is fine - tuned from BAAI/bge - m3
. It maps sentences and paragraphs into a 1024 - dimensional dense vector space, which can be applied to semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and other tasks.
📚 Documentation
Model Details
Model Description
Property |
Details |
Model Type |
Sentence Transformer |
Base model |
BAAI/bge-m3 |
Language |
Spanish |
Library Name |
sentence-transformers |
Pipeline Tag |
sentence-similarity |
Tags |
sentence-transformers, sentence-similarity, feature-extraction, generated_from_trainer, dataset_size:21352, loss:MatryoshkaLoss, loss:MultipleNegativesRankingLoss |
Metrics
The model is evaluated using the following metrics:
- cosine_accuracy@1
- cosine_accuracy@3
- cosine_accuracy@5
- cosine_accuracy@10
- cosine_precision@1
- cosine_precision@3
- cosine_precision@5
- cosine_precision@10
- cosine_recall@1
- cosine_recall@3
- cosine_recall@5
- cosine_recall@10
- cosine_ndcg@10
- cosine_mrr@10
- cosine_map@100
Results
The model has been tested on different datasets with varying dimensions:
dim 1024
Metric |
Value |
Cosine Accuracy@1 |
0.6257901390644753 |
Cosine Accuracy@3 |
0.7450484618626212 |
Cosine Accuracy@5 |
0.7833965444584914 |
Cosine Accuracy@10 |
0.8314369995785925 |
Cosine Precision@1 |
0.6257901390644753 |
Cosine Precision@3 |
0.24834948728754036 |
Cosine Precision@5 |
0.15667930889169826 |
Cosine Precision@10 |
0.08314369995785924 |
Cosine Recall@1 |
0.6257901390644753 |
Cosine Recall@3 |
0.7450484618626212 |
Cosine Recall@5 |
0.7833965444584914 |
Cosine Recall@10 |
0.8314369995785925 |
Cosine Ndcg@10 |
0.7275988588052974 |
Cosine Mrr@10 |
0.6944890935725317 |
Cosine Map@100 |
0.69913132313913 |
dim 768
Metric |
Value |
Cosine Accuracy@1 |
0.6211546565528866 |
Cosine Accuracy@3 |
0.7488411293721028 |
Cosine Accuracy@5 |
0.7855035819637589 |
Cosine Accuracy@10 |
0.8297513695743785 |
Cosine Precision@1 |
0.6211546565528866 |
Cosine Precision@3 |
0.2496137097907009 |
Cosine Precision@5 |
0.15710071639275178 |
Cosine Precision@10 |
0.08297513695743783 |
Cosine Recall@1 |
0.6211546565528866 |
Cosine Recall@3 |
0.7488411293721028 |
Cosine Recall@5 |
0.7855035819637589 |
Cosine Recall@10 |
0.8297513695743785 |
Cosine Ndcg@10 |
0.7262608157638797 |
Cosine Mrr@10 |
0.693076709543207 |
Cosine Map@100 |
0.6977729019489064 |
dim 512
Metric |
Value |
Cosine Accuracy@1 |
0.6186262115465655 |
Cosine Accuracy@3 |
0.7416772018541931 |
Cosine Accuracy@5 |
0.7812895069532237 |
Cosine Accuracy@10 |
0.8284871470712178 |
Cosine Precision@1 |
0.6186262115465655 |
Cosine Precision@3 |
0.24722573395139766 |
Cosine Precision@5 |
0.15625790139064477 |
Cosine Precision@10 |
0.08284871470712177 |
Cosine Recall@1 |
0.6186262115465655 |
Cosine Recall@3 |
0.7416772018541931 |
Cosine Recall@5 |
0.7812895069532237 |
Cosine Recall@10 |
0.8284871470712178 |
Cosine Ndcg@10 |
0.7230517414838968 |
Cosine Mrr@10 |
0.6894082903564569 |
Cosine Map@100 |
0.6938850125806117 |
dim 256
Metric |
Value |
Cosine Accuracy@1 |
0.6076696165191741 |
Cosine Accuracy@3 |
0.7378845343447114 |
Cosine Accuracy@5 |
0.7741255794353139 |
Cosine Accuracy@10 |
0.8183733670459334 |
Cosine Precision@1 |
0.6076696165191741 |
Cosine Precision@3 |
0.2459615114482371 |
Cosine Precision@5 |
0.15482511588706277 |
Cosine Precision@10 |
0.08183733670459334 |
Cosine Recall@1 |
0.6076696165191741 |
Cosine Recall@3 |
0.7378845343447114 |
Cosine Recall@5 |
0.7741255794353139 |
Cosine Recall@10 |
0.8183733670459334 |
Cosine Ndcg@10 |
0.7129994645749397 |
Cosine Mrr@10 |
0.6792476872754997 |
Cosine Map@100 |
0.6839884095309201 |
dim 128
Metric |
Value |
Cosine Accuracy@1 |
0.5920775389801939 |
Cosine Accuracy@3 |
0.7100716392751791 |
Cosine Accuracy@5 |
0.7496839443742098 |
Cosine Accuracy@10 |
0.8019384745048462 |
Cosine Precision@1 |
0.5920775389801939 |
Cosine Precision@3 |
0.23669054642505968 |
Cosine Precision@5 |
0.14993678887484196 |
Cosine Precision@10 |
0.0801938474504846 |
Cosine Recall@1 |
0.5920775389801939 |
Cosine Recall@3 |
0.7100716392751791 |
Cosine Recall@5 |
0.7496839443742098 |
Cosine Recall@10 |
0.8019384745048462 |
Cosine Ndcg@10 |
0.6949442438058356 |
Cosine Mrr@10 |
0.6609599395313674 |
Cosine Map@100 |
0.6660375960675697 |
dim 64
Metric |
Value |
Cosine Accuracy@1 |
0.5478297513695743 |
Cosine Accuracy@3 |
0.6696165191740413 |
Cosine Accuracy@5 |
0.7218710493046776 |
Cosine Accuracy@10 |
0.7707543194268858 |
Cosine Precision@1 |
0.5478297513695743 |
Cosine Precision@3 |
0.2232055063913471 |
Cosine Precision@5 |
0.14437420986093552 |
Cosine Precision@10 |
0.07707543194268857 |
Cosine Recall@1 |
0.5478297513695743 |
Cosine Recall@3 |
0.6696165191740413 |
Cosine Recall@5 |
0.7218710493046776 |
Cosine Recall@10 |
0.7707543194268858 |
Cosine Ndcg@10 |
0.6562208551738911 |
Cosine Mrr@10 |
0.6198663536210937 |
Cosine Map@100 |
0.6253208234320395 |
Widget Examples
The model comes with some widget examples to demonstrate its usage:
Example 1
- Source Sentence: "La Estrategia Nacional de Redes Ultrarrápidas tiene como objetivo impulsar el despliegue de redes de acceso ultrarrápido a la banda ancha, tanto fijo como móvil, de cara a lograr su universalización, así como fomentar su adopción por ciudadanos, empresas y administraciones, para garantizar la cohesión social y territorial."
- Comparison Sentences:
- "¿Cuál es el objetivo principal de la exoneración de deudas?"
- "¿Qué se entiende por especies invasoras?"
- "¿Cuál es el objetivo de la Estrategia Nacional de Redes Ultrarrápidas?"
Example 2
- Source Sentence: "La Ley del Presupuesto de la Comunidad Autónoma de Andalucía podrá actualizar la cuantía de las sanciones contenidas en la presente norma."
- Comparison Sentences:
- "¿Qué ley se refiere a la actualización de la cuantía de las sanciones?"
- "¿Qué se requiere para la concesión de las licencias y permisos de primera ocupación?"
- "¿Cuál es el objetivo del Plan Estratégico sobre Trastornos Adictivos?"
Example 3
- Source Sentence: "Art. 154. La celebración de tratados por los que se atribuya a una organización o institución internacionales el ejercicio de competencias derivadas de la Constitución requerirá la previa aprobación por las Cortes de una Ley Orgánica de autorización, que se tramitará conforme a lo establecido en el presente Reglamento para las leyes de este carácter."
- Comparison Sentences:
- "¿Cuál es el importe destinado a la financiación de las necesidades correspondientes al transporte regular de viajeros de las distintas Islas Canarias?"
- "¿Cuál es el propósito de la Disposición final tercera?"
- "¿Cuál es el procedimiento para la celebración de tratados internacionales?"
Example 4
- Source Sentence: "Disposición final tercera. Entrada en vigor. El presente real decreto entrará en vigor el día siguiente al de su publicación en el «Boletín Oficial del Estado»."
- Comparison Sentences:
- "¿Quién puede concluir contratos para la adquisición de bienes o derechos?"
- "¿Qué es el régimen de recursos del Consejo General de los Colegios Oficiales de Ingenieros Agrónomos?"
- "¿Cuál es el propósito de la Disposición final tercera?"
Example 5
- Source Sentence: "El plazo máximo para resolver y notificar la resolución expresa que ponga fin al procedimiento será de nueve meses, a contar desde la fecha de inicio del procedimiento administrativo sancionador, que se corresponde con la fecha del acuerdo de incoación."
- Comparison Sentences:
- "¿Cuál es el plazo para la resolución del procedimiento sancionador en el caso de infracciones graves o muy graves?"
- "¿Qué establece el Real Decreto 521/2020?"
- "¿Cuál es el objetivo de la cooperación española para el desarrollo sostenible en relación con la igualdad de género?"
📄 License
This model is licensed under the apache - 2.0
license.