Longformer Base 4096 Spanish Finetuned Squad

🚀 Spanish Longformer fine-tuned on SQAC for Spanish QA 📖❓

This is a Spanish Longformer model fine-tuned on SQAC for the Q&A downstream task. It is based on longformer-base-4096-spanish, aiming to provide high - quality question - answering capabilities for Spanish texts.

✨ Features

Model Features

• The longformer-base-4096-spanish is a BERT - like model. It starts from the RoBERTa checkpoint (specifically BERTIN) and is pre - trained for MLM on long documents (from BETO's all_wikis).
• It can support sequences of length up to 4,096, enabling it to handle long Spanish texts effectively.

Dataset Features

• The SQAC dataset contains 6,247 contexts and 18,817 questions with their answers (1 to 5 answers for each fragment).
• The contexts are sourced from multiple places:
  • Encyclopedic articles from Wikipedia in Spanish, used under [CC - by - sa licence](https://creativecommons.org/licenses/by - sa/3.0/legalcode).
  • News from Wikinews in Spanish, used under CC - by licence.
  • Text from the Spanish corpus AnCora, which is a mix of different newswire and literature sources, used under CC - by licence. This dataset is suitable for building extractive - QA systems.

📦 Installation

No installation steps are provided in the original document, so this section is skipped.

💻 Usage Examples

Basic Usage

from transformers import pipeline
qa_pipe = pipeline("question-answering", model='mrm8488/longformer-base-4096-spanish-finetuned-squad')
context = '''
Hace aproximadamente un año, Hugging Face, una startup de procesamiento de lenguaje natural con sede en Brooklyn, Nueva York, lanzó BigScience, un proyecto internacional con más de 900 investigadores que está diseñado para comprender mejor y mejorar la calidad de los grandes modelos de lenguaje natural. Los modelos de lenguaje grande (LLM), algoritmos que pueden reconocer, predecir y generar lenguaje sobre la base de conjuntos de datos basados ​​en texto, han captado la atención de empresarios y entusiastas de la tecnología por igual. Pero el costoso hardware requerido para desarrollar LLM los ha mantenido en gran medida fuera del alcance de los investigadores sin los recursos de compañías como OpenAI y DeepMind detrás de ellos.

Inspirándose en organizaciones como la Organización Europea para la Investigación Nuclear (también conocida como CERN) y el Gran Colisionador de Hadrones, el objetivo de BigScience es crear LLM y grandes conjuntos de datos de texto que eventualmente serán de código abierto para la IA más amplia. comunidad. Los modelos serán entrenados en la supercomputadora Jean Zay ubicada cerca de París, Francia, que se encuentra entre las máquinas más poderosas del mundo.
'''
question = "¿Cuál es el objetivo de BigScience?"

qa_pipe({'context':context, 'question': question})
# It outpus

{'answer': 'comprender mejor y mejorar la calidad de los grandes modelos de lenguaje natural.',
 'end': 305,
 'score': 0.9999799728393555,
 'start': 224}

📚 Documentation

Evaluation Metrics

The evaluation metrics are to be announced (TBA).

📄 License

No license information is provided in the original document, so this section is skipped.

Created by Manuel Romero/@mrm8488 with the support of Narrativa

Made with ♥ in Spain