Gpt2 Spanish Medium

🚀 GPT2-西班牙語

GPT2-西班牙語是一個語言生成模型，它基於11.5GB的西班牙語文本從頭開始訓練，並使用了專門為此訓練的字節對編碼（BPE）分詞器。其使用的參數與原始OpenAI GPT2模型的中等版本相同。

🚀 快速開始

本項目介紹了GPT2-西班牙語模型，它在西班牙語自然語言生成領域有著重要應用。通過下面的章節，你可以瞭解該模型的詳細信息。

✨ 主要特性

• 基於11.5GB西班牙語文本從頭訓練，能更好地適應西班牙語語境。
• 使用專門訓練的字節對編碼（BPE）分詞器，解決了英文模型分詞器在處理西班牙語語義關係時的侷限。
• 除了OpenAI GPT - 2模型中的文本結束特殊標記，還包含額外標記，可用於未來訓練的提示。

📚 詳細文檔

語料庫

該模型使用了一個包含11.5GB文本的語料庫進行訓練，其中包括3.5GB的維基百科文章和8GB的書籍（涵蓋敘事、短篇小說、戲劇、詩歌、散文和科普類）。

分詞器

文本使用字節級的字節對編碼（BPE）版本（針對Unicode字符）進行分詞，詞彙量大小為50257。輸入為1024個連續標記的序列。

由於英語模型的分詞器在捕捉西班牙語的語義關係方面存在侷限性（這是由於兩種語言在形態句法上的差異），因此該分詞器是使用西班牙語語料庫從頭開始訓練的。

除了OpenAI GPT - 2模型中用於文本結束的特殊標記 "<|endoftext|>" 之外，還加入了標記 "<|talk|>"、"<|ax1|>"、"<|ax2|>" (..)"<|ax9|>"，以便在未來訓練中用作提示。

訓練

該模型和分詞器是在Google Colab服務器上，使用Hugging Face庫，藉助具有16GB內存的Nvidia Tesla V100 GPU進行訓練的。

作者

該模型由Alejandro Oñate Latorre（西班牙）和Jorge Ortiz Fuentes（智利）訓練，他們是 -Deep ESP- 的成員，這是一個專注於西班牙語自然語言處理的開源社區（https://t.me/joinchat/VoEp1bPrDYEexc6h）。

感謝社區中為初始測試提供資金支持的成員。

⚠️ 重要提示

⚠️ 重要提示

該模型會根據訓練語料庫中學到的模式生成文本。由於這些數據未經過濾，因此模型可能會生成冒犯性或歧視性內容。

📄 許可證

本項目採用MIT許可證。