Gpt2 Small Spanish

🚀 GPT2-small-spanish：用於西班牙語文本生成的語言模型（及更多NLP任務...）

GPT2-small-spanish是一款基於GPT - 2小模型的先進西班牙語語言模型。它能夠有效助力西班牙語的文本生成及其他自然語言處理任務，為西班牙語的相關應用提供強大的語言支持。

🚀 快速開始

GPT2-small-spanish是基於GPT - 2小模型的先進西班牙語語言模型。它使用遷移學習和微調技術在西班牙語維基百科上進行訓練。訓練過程使用了四塊配備11GB DDR5的NVIDIA GTX 1080 - Ti GPU，耗時約70小時，使用了約3GB（已處理）的訓練數據。

該模型從英語預訓練的GPT - 2小模型進行微調，藉助了Hugging Face庫（Transformers和Tokenizers），並集成到fastai v2深度學習框架中，運用了fastai v2的所有微調技術。

訓練完全基於Pierre Guillou開發的GPorTuguese - 2模型。訓練細節可參考文章：“比從頭開始訓練更快 — 使用Hugging Face和fastai v2對任何語言的英語GPT - 2進行微調（葡萄牙語實際案例）”。

該初步版本現已在Hugging Face上可用。

✨ 主要特性

• 基於先進的GPT - 2小模型架構，為西班牙語處理提供有力支持。
• 採用遷移學習和微調技術，在西班牙語維基百科上訓練，能更好地適應西班牙語的語言特點。

🔧 技術細節

訓練數據

訓練數據來源於西班牙語維基百科，約使用了3GB已處理的數據。

訓練環境

使用四塊配備11GB DDR5的NVIDIA GTX 1080 - Ti GPU進行訓練，耗時約70小時。

訓練技術

從英語預訓練的GPT - 2小模型進行微調，藉助Hugging Face庫（Transformers和Tokenizers），並集成到fastai v2深度學習框架中，運用了fastai v2的所有微調技術。訓練完全基於Pierre Guillou開發的GPorTuguese - 2模型。

⚠️ 侷限性和偏差

（摘自原始GPorTuguese - 2模型）此模型使用的訓練數據來自西班牙語維基百科。我們知道它包含大量來自互聯網的未過濾內容，遠非中立。正如OpenAI團隊在其模型卡片中指出的：

由於像GPT - 2這樣的大規模語言模型無法區分事實與虛構，我們不支持要求生成文本為真實內容的用例。此外，像GPT - 2這樣的語言模型反映了其訓練系統中固有的偏差，因此我們不建議將它們部署到與人類交互的系統中，除非部署者首先對與預期用例相關的偏差進行研究。我們發現774M和1.5B版本在性別、種族和宗教偏差探測方面沒有統計學上的顯著差異，這意味著在處理對人類屬性偏差敏感的用例時，所有版本的GPT - 2都應採取類似程度的謹慎態度。

📄 許可證

本項目採用Apache - 2.0許可證。

👥 作者

該模型由Josué Obregon和Berny Carrera訓練和評估，他們是Datificate的創始人，這是一個用西班牙語學習機器學習的平臺。

訓練得益於IAI Lab（慶熙大學）的多個GPU（NVIDIA GTX1080 - Ti）的計算能力，Josué作為工業人工智能博士後研究員隸屬於該實驗室。

如前所述，這項工作主要基於Pierre GUILLOU的工作。