Gpt2 Spanish

🚀 GPT2-西班牙語版

GPT2-西班牙語版是一個語言生成模型，它基於11.5GB的西班牙語文本從頭開始訓練，並使用了專門為此訓練的字節對編碼（BPE）分詞器。其使用的參數與原始OpenAI GPT2模型的小型版本相同。該模型可用於西班牙語的文本生成，為西班牙語自然語言處理相關應用提供支持。

🚀 快速開始

本部分暫未提供相關內容，若有使用步驟等信息可進一步補充。

✨ 主要特性

• 訓練數據豐富：使用了11.5GB的文本進行訓練，其中包括3.5GB的維基百科文章和8GB的各類書籍（敘事、短篇小說、戲劇、詩歌、散文和科普類）。
• 定製分詞器：採用字節級的字節對編碼（BPE）分詞器（適用於Unicode字符），詞彙量為50257。該分詞器基於西班牙語語料庫從頭開始訓練，能更好地捕捉西班牙語的語義關係。
• 特殊標記支持：除了OpenAI GPT - 2模型中用於文本結尾的特殊標記 "<|endoftext|>" 外，還包含了 "<|talk|>"、"<|ax1|>"、"<|ax2|>" (..)"<|ax9|>" 等標記，可作為未來訓練的提示。

📦 安裝指南

本部分暫未提供相關內容，若有安裝步驟等信息可進一步補充。

📚 詳細文檔

語料庫

該模型使用了一個包含11.5GB文本的語料庫進行訓練，其中3.5GB為維基百科文章，8GB為各類書籍（敘事、短篇小說、戲劇、詩歌、散文和科普類）。

分詞器

文本使用字節級的字節對編碼（BPE）分詞器（適用於Unicode字符）進行分詞，詞彙量為50257。輸入為1024個連續標記的序列。

由於英語模型的分詞器在捕捉西班牙語的語義關係方面存在侷限性（這是由於兩種語言在形態句法上的差異），因此該分詞器是基於西班牙語語料庫從頭開始訓練的。

除了OpenAI GPT - 2模型中用於文本結尾的特殊標記 "<|endoftext|>" 外，還包含了 "<|talk|>"、"<|ax1|>"、"<|ax2|>" (..)"<|ax9|>" 等標記，以便在未來訓練中作為提示使用。

訓練

模型和分詞器使用Hugging Face庫，在配備16GB內存的Nvidia Tesla V100 GPU的Google Colab服務器上進行訓練。

作者

該模型由Alejandro Oñate Latorre（西班牙）和Jorge Ortiz Fuentes（智利）訓練，他們是 -Deep ESP- 的成員，這是一個專注於西班牙語自然語言處理的開源社區（https://t.me/joinchat/VoEp1bPrDYEexc6h）。

感謝社區中為初始測試提供資金支持的成員。

注意事項

模型會根據訓練語料庫中學到的模式生成文本。由於這些數據未經過過濾，因此模型可能會生成冒犯性或歧視性的內容。

🔧 技術細節

本模型使用與原始OpenAI GPT2模型小型版本相同的參數，基於11.5GB的西班牙語語料庫進行訓練。在分詞方面，採用專門針對西班牙語訓練的字節對編碼（BPE）分詞器，能更好地適應西班牙語的特點。訓練過程藉助Hugging Face庫，在Google Colab服務器的Nvidia Tesla V100 GPU上完成，充分利用了其計算資源。

📄 許可證

本模型採用MIT許可證。