# 多領域の事前学習

これはベトナム語に特化した事前学習済みの GPT2-Medium モデルで、因果言語モデリングの目標を用いて訓練され、ベトナム語関連のテキスト生成タスクを効果的に処理できます。

ProcBERTは、プロセステキストの最適化のために特別に設計された事前学習言語モデルです。大規模なプロセステキストコーパス（生物医学文献、化学特許、料理レシピを含む）を基に事前学習され、下流タスクで卓越した性能を発揮します。