Gpt2 Large Bne

🚀 GPT2-large：基于西班牙国家图书馆数据训练的模型

本项目基于西班牙国家图书馆的数据训练了GPT2-large模型，可用于西班牙语的文本生成任务，为西班牙语相关的自然语言处理工作提供了强大的支持。

🚀 快速开始

你可以直接使用该模型进行文本生成，也可以对其进行微调以应用于下游任务。

文本生成示例

>>> from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline, set_seed
>>> tokenizer = AutoTokenizer.from_pretrained("PlanTL-GOB-ES/gpt2-large-bne")
>>> model = AutoModelForCausalLM.from_pretrained("PlanTL-GOB-ES/gpt2-large-bne")
>>> generator = pipeline('text-generation', tokenizer=tokenizer, model=model)
>>> set_seed(42)
>>> generator("La Biblioteca Nacional de España es una entidad pública y sus fines son", num_return_sequences=5)        

[{'generated_text': 'La Biblioteca Nacional de España es una entidad pública y sus fines son servir como herramienta básica en la difusión de la cultura. '}, 
{'generated_text': 'La Biblioteca Nacional de España es una entidad pública y sus fines son el desarrollo de la educación, la cultura y el conocimiento, promoviendo actividades a través de Internet con la información que recibe del acceso a los fondos que en ella se almacenan. '}, 
{'generated_text': 'La Biblioteca Nacional de España es una entidad pública y sus fines son la publicación y difusión cultural. '}, 
{'generated_text': 'La Biblioteca Nacional de España es una entidad pública y sus fines son preservar y difundir los fondos y colecciones de la Biblioteca Nacional, así como servir de punto de encuentro para toda la comunidad científica, la academia y para la sociedad civil. '}, 
{'generated_text': 'La Biblioteca Nacional de España es una entidad pública y sus fines son la conservación, estudio y difusión del Patrimonio Bibliográfico en cualquiera de sus formas así como la formación y perfeccionamiento de los especialistas e investigadores en el campo de la información y de las bibliotecas.'}]

获取文本特征示例

>>> from transformers import AutoTokenizer, GPT2Model
>>> tokenizer = AutoTokenizer.from_pretrained("PlanTL-GOB-ES/gpt2-large-bne")
>>> model = GPT2Model.from_pretrained("PlanTL-GOB-ES/gpt2-large-bne")
>>> text = "La Biblioteca Nacional de España es una entidad pública y sus fines son"
>>> encoded_input = tokenizer(text, return_tensors='pt')
>>> output = model(**encoded_input)
>>> print(output.last_hidden_state.shape)
torch.Size([1, 14, 1280])

✨ 主要特性

• 架构：gpt2-large
• 语言：西班牙语
• 任务：文本生成
• 数据：BNE

📚 详细文档

模型描述

GPT2-large-bne 是一个基于Transformer架构的西班牙语模型。它基于 GPT-2 模型，并使用了迄今为止已知的最大西班牙语语料库进行预训练。该语料库是从 西班牙国家图书馆 (Biblioteca Nacional de España) 在2009年至2019年期间进行的网络爬取数据中编译而来，共处理了570GB的干净且去重的文本。

预期用途和限制

你可以使用原始模型进行文本生成，也可以对其进行微调以应用于下游任务。

局限性和偏差

在提交时，尚未采取措施来估计模型中嵌入的偏差和毒性。然而，我们深知由于语料库是通过对多个网络源进行爬取技术收集的，我们的模型可能存在偏差。我们打算在未来对这些领域进行研究，如果完成研究，此模型卡片将进行更新。以下是模型可能产生有偏差预测的示例：

>>> from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline, set_seed
>>> tokenizer = AutoTokenizer.from_pretrained("PlanTL-GOB-ES/gpt2-large-bne")
>>> model = AutoModelForCausalLM.from_pretrained("PlanTL-GOB-ES/gpt2-large-bne")
>>> generator = pipeline('text-generation', tokenizer=tokenizer, model=model)
>>> set_seed(42)
>>> generator("El hombre se dedica a", num_return_sequences=5)
[{'generated_text': 'El hombre se dedica a comprar móviles a sus padres, pero les paga por ellos y luego les devuelve la pasta a ella. '}, 
{'generated_text': 'El hombre se dedica a la venta ambulante ilegal en la zona de la Alameda, con puestos del rastro callejero o de supermercados a los que luego roba. '}, 
{'generated_text': 'El hombre se dedica a la venta ambulante en el Paseo de Melilla. '}, 
{'generated_text': 'El hombre se dedica a los tatuajes y los dibujos en el cuerpo con su apariencia física y no da a basto en las tareas domésticas. '}, 
{'generated_text': 'El hombre se dedica a la caza indiscriminada de animales. '}]

>>> set_seed(42)
>>> generator("La mujer se dedica a", num_return_sequences=5)
[{'generated_text': 'La mujer se dedica a comprar móviles a sus padres, pero les paga por ellos y luego no paga la factura." '}, 
{'generated_text': 'La mujer se dedica a la venta ambulante y su pareja vende cupones en el mercadillo navideño. '}, 
{'generated_text': 'La mujer se dedica a la venta al por mayor de perfumes, cosmética, complementos, y otros bienes de consumo. '}, 
{'generated_text': 'La mujer se dedica a los servicios sexuales y se aprovecha de los servicios religiosos. '}, 
{'generated_text': 'La mujer se dedica a la prostitución y tiene dos hijas del matrimonio y la propia familia de la víctima. '}]

训练

训练数据

西班牙国家图书馆 (Biblioteca Nacional de España) 每年对所有 .es 域名进行一次爬取。训练语料库由2009年至2019年期间这些爬取的59TB WARC文件组成。

为了获得高质量的训练语料库，语料库经过了一系列操作的预处理，包括句子分割、语言检测、过滤格式错误的句子以及去重重复内容等。在处理过程中，保留了文档边界。这最终得到了2TB的干净西班牙语语料库。进一步对语料库进行全局去重，得到了570GB的文本。

语料库的一些统计信息如下：

训练过程

该架构使用的预训练目标是下一个标记预测。 GPT2-large-bne 模型的配置如下：

• gpt2-large：36层，1280隐藏层，20头，774M参数。

训练语料库使用了原始 GPT-2 模型中使用的字节版本的字节对编码 (BPE) 进行标记化，词汇量为50,262个标记。

GPT2-large-bne的预训练包括一个自回归语言模型训练，遵循GPT-2的方法。

训练总共持续了10天，使用了32个计算节点，每个节点配备4个16GB VRAM的NVIDIA V100 GPU。

附加信息

作者

巴塞罗那超级计算中心的文本挖掘单元 (TeMU) (bsc-temu@bsc.es)

联系信息

如需进一步信息，请发送电子邮件至 plantl-gob-es@bsc.es

版权

版权归西班牙数字化和人工智能国务秘书处 (SEDIA) (2022) 所有

许可信息

本作品根据 Apache许可证，版本2.0 许可。

资金支持

本工作由西班牙数字化和人工智能国务秘书处 (SEDIA) 在Plan-TL框架内资助。

引用信息

如果使用此模型，请引用我们的 论文：

@article{,
   abstract = {We want to thank the National Library of Spain for such a large effort on the data gathering and the Future of Computing Center, a
Barcelona Supercomputing Center and IBM initiative (2020). This work was funded by the Spanish State Secretariat for Digitalization and Artificial
Intelligence (SEDIA) within the framework of the Plan-TL.},
   author = {Asier Gutiérrez Fandiño and Jordi Armengol Estapé and Marc Pàmies and Joan Llop Palao and Joaquin Silveira Ocampo and Casimiro Pio Carrino and Carme Armentano Oller and Carlos Rodriguez Penagos and Aitor Gonzalez Agirre and Marta Villegas},
   doi = {10.26342/2022-68-3},
   issn = {1135-5948},
   journal = {Procesamiento del Lenguaje Natural},
   keywords = {Artificial intelligence,Benchmarking,Data processing.,MarIA,Natural language processing,Spanish language modelling,Spanish language resources,Tractament del llenguatge natural (Informàtica),Àrees temàtiques de la UPC::Informàtica::Intel·ligència artificial::Llenguatge natural},
   publisher = {Sociedad Española para el Procesamiento del Lenguaje Natural},
   title = {MarIA: Spanish Language Models},
   volume = {68},
   url = {https://upcommons.upc.edu/handle/2117/367156#.YyMTB4X9A-0.mendeley},
   year = {2022},
}

免责声明

本仓库中发布的模型旨在用于通用目的，并可供第三方使用。这些模型可能存在偏差和/或其他不良扭曲。

当第三方使用这些模型（或使用基于这些模型的系统）部署或向其他方提供系统和/或服务，或成为模型的用户时，他们应注意，减轻使用这些模型所带来的风险并遵守适用法规（包括有关人工智能使用的法规）是他们的责任。

在任何情况下，模型的所有者（SEDIA - 西班牙数字化和人工智能国务秘书处）和创建者（BSC - 巴塞罗那超级计算中心）均不对第三方使用这些模型所产生的任何结果负责。

⚠️ 重要提示

在使用该模型时，由于模型可能存在偏差和毒性，使用者需要自行评估和处理相关风险。

💡 使用建议

建议在使用模型进行文本生成时，根据具体任务进行微调，以获得更好的效果。同时，在处理敏感内容时，要谨慎使用该模型。