Gpt2 Large Bne

🚀 GPT2-large：基於西班牙國家圖書館數據訓練的模型

本項目基於西班牙國家圖書館的數據訓練了GPT2-large模型，可用於西班牙語的文本生成任務，為西班牙語相關的自然語言處理工作提供了強大的支持。

🚀 快速開始

你可以直接使用該模型進行文本生成，也可以對其進行微調以應用於下游任務。

文本生成示例

>>> from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline, set_seed
>>> tokenizer = AutoTokenizer.from_pretrained("PlanTL-GOB-ES/gpt2-large-bne")
>>> model = AutoModelForCausalLM.from_pretrained("PlanTL-GOB-ES/gpt2-large-bne")
>>> generator = pipeline('text-generation', tokenizer=tokenizer, model=model)
>>> set_seed(42)
>>> generator("La Biblioteca Nacional de España es una entidad pública y sus fines son", num_return_sequences=5)        

[{'generated_text': 'La Biblioteca Nacional de España es una entidad pública y sus fines son servir como herramienta básica en la difusión de la cultura. '}, 
{'generated_text': 'La Biblioteca Nacional de España es una entidad pública y sus fines son el desarrollo de la educación, la cultura y el conocimiento, promoviendo actividades a través de Internet con la información que recibe del acceso a los fondos que en ella se almacenan. '}, 
{'generated_text': 'La Biblioteca Nacional de España es una entidad pública y sus fines son la publicación y difusión cultural. '}, 
{'generated_text': 'La Biblioteca Nacional de España es una entidad pública y sus fines son preservar y difundir los fondos y colecciones de la Biblioteca Nacional, así como servir de punto de encuentro para toda la comunidad científica, la academia y para la sociedad civil. '}, 
{'generated_text': 'La Biblioteca Nacional de España es una entidad pública y sus fines son la conservación, estudio y difusión del Patrimonio Bibliográfico en cualquiera de sus formas así como la formación y perfeccionamiento de los especialistas e investigadores en el campo de la información y de las bibliotecas.'}]

獲取文本特徵示例

>>> from transformers import AutoTokenizer, GPT2Model
>>> tokenizer = AutoTokenizer.from_pretrained("PlanTL-GOB-ES/gpt2-large-bne")
>>> model = GPT2Model.from_pretrained("PlanTL-GOB-ES/gpt2-large-bne")
>>> text = "La Biblioteca Nacional de España es una entidad pública y sus fines son"
>>> encoded_input = tokenizer(text, return_tensors='pt')
>>> output = model(**encoded_input)
>>> print(output.last_hidden_state.shape)
torch.Size([1, 14, 1280])

✨ 主要特性

• 架構：gpt2-large
• 語言：西班牙語
• 任務：文本生成
• 數據：BNE

📚 詳細文檔

模型描述

GPT2-large-bne 是一個基於Transformer架構的西班牙語模型。它基於 GPT-2 模型，並使用了迄今為止已知的最大西班牙語語料庫進行預訓練。該語料庫是從 西班牙國家圖書館 (Biblioteca Nacional de España) 在2009年至2019年期間進行的網絡爬取數據中編譯而來，共處理了570GB的乾淨且去重的文本。

預期用途和限制

你可以使用原始模型進行文本生成，也可以對其進行微調以應用於下游任務。

侷限性和偏差

在提交時，尚未採取措施來估計模型中嵌入的偏差和毒性。然而，我們深知由於語料庫是通過對多個網絡源進行爬取技術收集的，我們的模型可能存在偏差。我們打算在未來對這些領域進行研究，如果完成研究，此模型卡片將進行更新。以下是模型可能產生有偏差預測的示例：

>>> from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline, set_seed
>>> tokenizer = AutoTokenizer.from_pretrained("PlanTL-GOB-ES/gpt2-large-bne")
>>> model = AutoModelForCausalLM.from_pretrained("PlanTL-GOB-ES/gpt2-large-bne")
>>> generator = pipeline('text-generation', tokenizer=tokenizer, model=model)
>>> set_seed(42)
>>> generator("El hombre se dedica a", num_return_sequences=5)
[{'generated_text': 'El hombre se dedica a comprar móviles a sus padres, pero les paga por ellos y luego les devuelve la pasta a ella. '}, 
{'generated_text': 'El hombre se dedica a la venta ambulante ilegal en la zona de la Alameda, con puestos del rastro callejero o de supermercados a los que luego roba. '}, 
{'generated_text': 'El hombre se dedica a la venta ambulante en el Paseo de Melilla. '}, 
{'generated_text': 'El hombre se dedica a los tatuajes y los dibujos en el cuerpo con su apariencia física y no da a basto en las tareas domésticas. '}, 
{'generated_text': 'El hombre se dedica a la caza indiscriminada de animales. '}]

>>> set_seed(42)
>>> generator("La mujer se dedica a", num_return_sequences=5)
[{'generated_text': 'La mujer se dedica a comprar móviles a sus padres, pero les paga por ellos y luego no paga la factura." '}, 
{'generated_text': 'La mujer se dedica a la venta ambulante y su pareja vende cupones en el mercadillo navideño. '}, 
{'generated_text': 'La mujer se dedica a la venta al por mayor de perfumes, cosmética, complementos, y otros bienes de consumo. '}, 
{'generated_text': 'La mujer se dedica a los servicios sexuales y se aprovecha de los servicios religiosos. '}, 
{'generated_text': 'La mujer se dedica a la prostitución y tiene dos hijas del matrimonio y la propia familia de la víctima. '}]

訓練

訓練數據

西班牙國家圖書館 (Biblioteca Nacional de España) 每年對所有 .es 域名進行一次爬取。訓練語料庫由2009年至2019年期間這些爬取的59TB WARC文件組成。

為了獲得高質量的訓練語料庫，語料庫經過了一系列操作的預處理，包括句子分割、語言檢測、過濾格式錯誤的句子以及去重重複內容等。在處理過程中，保留了文檔邊界。這最終得到了2TB的乾淨西班牙語語料庫。進一步對語料庫進行全局去重，得到了570GB的文本。

語料庫的一些統計信息如下：

訓練過程

該架構使用的預訓練目標是下一個標記預測。 GPT2-large-bne 模型的配置如下：

• gpt2-large：36層，1280隱藏層，20頭，774M參數。

訓練語料庫使用了原始 GPT-2 模型中使用的字節版本的字節對編碼 (BPE) 進行標記化，詞彙量為50,262個標記。

GPT2-large-bne的預訓練包括一個自迴歸語言模型訓練，遵循GPT-2的方法。

訓練總共持續了10天，使用了32個計算節點，每個節點配備4個16GB VRAM的NVIDIA V100 GPU。

附加信息

作者

巴塞羅那超級計算中心的文本挖掘單元 (TeMU) (bsc-temu@bsc.es)

聯繫信息

如需進一步信息，請發送電子郵件至 plantl-gob-es@bsc.es

版權

版權歸西班牙數字化和人工智能國務秘書處 (SEDIA) (2022) 所有

許可信息

本作品根據 Apache許可證，版本2.0 許可。

資金支持

本工作由西班牙數字化和人工智能國務秘書處 (SEDIA) 在Plan-TL框架內資助。

引用信息

如果使用此模型，請引用我們的 論文：

@article{,
   abstract = {We want to thank the National Library of Spain for such a large effort on the data gathering and the Future of Computing Center, a
Barcelona Supercomputing Center and IBM initiative (2020). This work was funded by the Spanish State Secretariat for Digitalization and Artificial
Intelligence (SEDIA) within the framework of the Plan-TL.},
   author = {Asier Gutiérrez Fandiño and Jordi Armengol Estapé and Marc Pàmies and Joan Llop Palao and Joaquin Silveira Ocampo and Casimiro Pio Carrino and Carme Armentano Oller and Carlos Rodriguez Penagos and Aitor Gonzalez Agirre and Marta Villegas},
   doi = {10.26342/2022-68-3},
   issn = {1135-5948},
   journal = {Procesamiento del Lenguaje Natural},
   keywords = {Artificial intelligence,Benchmarking,Data processing.,MarIA,Natural language processing,Spanish language modelling,Spanish language resources,Tractament del llenguatge natural (Informàtica),Àrees temàtiques de la UPC::Informàtica::Intel·ligència artificial::Llenguatge natural},
   publisher = {Sociedad Española para el Procesamiento del Lenguaje Natural},
   title = {MarIA: Spanish Language Models},
   volume = {68},
   url = {https://upcommons.upc.edu/handle/2117/367156#.YyMTB4X9A-0.mendeley},
   year = {2022},
}

免責聲明

本倉庫中發佈的模型旨在用於通用目的，並可供第三方使用。這些模型可能存在偏差和/或其他不良扭曲。

當第三方使用這些模型（或使用基於這些模型的系統）部署或向其他方提供系統和/或服務，或成為模型的用戶時，他們應注意，減輕使用這些模型所帶來的風險並遵守適用法規（包括有關人工智能使用的法規）是他們的責任。

在任何情況下，模型的所有者（SEDIA - 西班牙數字化和人工智能國務秘書處）和創建者（BSC - 巴塞羅那超級計算中心）均不對第三方使用這些模型所產生的任何結果負責。

⚠️ 重要提示

在使用該模型時，由於模型可能存在偏差和毒性，使用者需要自行評估和處理相關風險。

💡 使用建議

建議在使用模型進行文本生成時，根據具體任務進行微調，以獲得更好的效果。同時，在處理敏感內容時，要謹慎使用該模型。