Longformer Base 4096 Spanish Finetuned Squad

🚀 スペイン語の質問応答（QA）用に SQAC でファインチューニングされたスペイン語 Longformer 📖❓

longformer-base-4096-spanish は、SQAC でファインチューニングされ、質問応答（Q&A）の下流タスクに使用されます。

🚀 クイックスタート

このモデルは、スペイン語の質問応答タスクに最適化されています。以下のセクションで詳細を説明します。

✨ 主な機能

• 長文に対応したモデルで、最大4,096のシーケンス長をサポートします。
• スペイン語の質問応答タスクに特化してファインチューニングされています。

🔧 技術詳細

モデルの詳細 🧠

longformer-base-4096-spanish は、RoBERTaチェックポイント（この場合は BERTIN）から始まるBERTライクなモデルで、長文（BETOの all_wikis から）に対して MLM のために事前学習されています。最大 4,096 のシーケンス長をサポートします！

データセットの詳細 📚

このデータセットには、6,247のコンテキストと18,817の質問とその回答が含まれており、各フラグメントに1から5の回答があります。 コンテキストのソースは以下の通りです。

• スペイン語版Wikipedia の百科事典記事で、CC-by-saライセンス の下で使用されています。
• スペイン語版Wikinews のニュースで、CC-byライセンス の下で使用されています。
• スペイン語コーパス AnCora のテキストで、さまざまなニュース配信や文学ソースの混合で、CC-byライセンス の下で使用されています。 このデータセットは、抽出型QAを構築するために使用できます。

評価指標 📈

評価指標については、後日公開予定です。

💻 使用例

基本的な使用法

from transformers import pipeline
qa_pipe = pipeline("question-answering", model='mrm8488/longformer-base-4096-spanish-finetuned-squad')
context = '''
Hace aproximadamente un año, Hugging Face, una startup de procesamiento de lenguaje natural con sede en Brooklyn, Nueva York, lanzó BigScience, un proyecto internacional con más de 900 investigadores que está diseñado para comprender mejor y mejorar la calidad de los grandes modelos de lenguaje natural. Los modelos de lenguaje grande (LLM), algoritmos que pueden reconocer, predecir y generar lenguaje sobre la base de conjuntos de datos basados ​​en texto, han captado la atención de empresarios y entusiastas de la tecnología por igual. Pero el costoso hardware requerido para desarrollar LLM los ha mantenido en gran medida fuera del alcance de los investigadores sin los recursos de compañías como OpenAI y DeepMind detrás de ellos.

Inspirándose en organizaciones como la Organización Europea para la Investigación Nuclear (también conocida como CERN) y el Gran Colisionador de Hadrones, el objetivo de BigScience es crear LLM y grandes conjuntos de datos de texto que eventualmente serán de código abierto para la IA más amplia. comunidad. Los modelos serán entrenados en la supercomputadora Jean Zay ubicada cerca de París, Francia, que se encuentra entre las máquinas más poderosas del mundo.
'''
question = "¿Cuál es el objetivo de BigScience?"

qa_pipe({'context':context, 'question': question})
# It outpus

{'answer': 'comprender mejor y mejorar la calidad de los grandes modelos de lenguaje natural.',
 'end': 305,
 'score': 0.9999799728393555,
 'start': 224}

Manuel Romero/@mrm8488 によって作成され、Narrativa の支援を受けています。

スペインで ♥ を込めて作られました。