Vietnamese Gpt2 Medium

🚀 越南語 gpt2-medium 模型

這是一個針對越南語的預訓練 gpt2-medium 模型，採用因果語言建模（CLM）目標進行訓練。它能有效處理越南語相關的文本生成任務，為越南語的自然語言處理提供了強大的支持。

🚀 快速開始

此模型基於GPT - 2架構，在大量越南語數據上進行了預訓練。可以直接使用它進行文本生成等自然語言處理任務。

✨ 主要特性

• 預訓練優勢：GPT - 2最初是在大規模英語數據上以自監督方式進行預訓練的模型，本越南語版本繼承了其強大的語言理解和生成能力。
• 參數規模適中：這是GPT - 2的中等版本，擁有3.8億個參數，在性能和資源消耗之間取得了較好的平衡。
• 多數據集訓練：使用多個越南語數據集組合進行預訓練，涵蓋新聞、百科等多種文本類型，增強了模型的泛化能力。

📚 詳細文檔

模型描述

GPT - 2最初是一個在大規模英語語料庫上以自監督方式進行預訓練的Transformer模型。它僅在原始文本上進行訓練，無需人工標註（因此可以利用大量公開可用的數據），通過自動流程從這些文本中生成輸入和標籤。更確切地說，它被訓練來預測句子中的下一個單詞。

本模型是GPT - 2的中等版本，擁有3.8億個參數。你還可以從以下鏈接找到其他預訓練版本：[gpt2 - base](https://huggingface.co/chronopt - research/vietnamese - gpt2 - base)，gpt2 - large

預訓練使用的數據集

這是多個用於預訓練因果語言模型（如GPT、GPT2等）的越南語數據集的組合。

數據集包括：

• vietgpt/covid_19_news_vi
• [hieunguyen1053/binhvq - news - corpus](https://huggingface.co/datasets/hieunguyen1053/binhvq - news - corpus)
• oscar (unshuffled_deduplicated_vi)
• vietgpt/wikipedia_vi

你可以在[duongttr/vi - dataset - for - pretrain](https://huggingface.co/datasets/duongttr/vi - dataset - for - pretrain)找到組合版本。

超參數與結果

我們在來自TRC Program的TPU - VM - 3.8上對模型進行了約100k步的訓練，使用lr = 1e - 4，bs = 1920，optimizer = adamw。訓練耗時約2.5天。

聯繫我們

如有任何問題，歡迎通過以下方式聯繫我們：email

📄 許可證

本模型採用Apache - 2.0許可證。