Phobert Large

🚀 PhoBERT：越南語預訓練語言模型

PhoBERT預訓練模型是目前最先進的越南語語言模型（Pho，即“越南河粉”，是越南的一種流行美食）。它具有以下特點：

• “base”和“large”兩個版本的PhoBERT是首個公開的、為越南語預訓練的大規模單語語言模型。PhoBERT的預訓練方法基於RoBERTa，該方法優化了BERT的預訓練流程，以實現更強大的性能。
• PhoBERT在詞性標註、依存句法分析、命名實體識別和自然語言推理這四項下游越南語自然語言處理任務中，超越了之前的單語和多語言方法，取得了新的最優性能。

PhoBERT的總體架構和實驗結果可在我們發表於EMNLP - 2020 Findings的論文中查看：

@article{phobert,
title     = {{PhoBERT: Pre-trained language models for Vietnamese}},
author    = {Dat Quoc Nguyen and Anh Tuan Nguyen},
journal   = {Findings of EMNLP},
year      = {2020}
}

請在使用PhoBERT來幫助產生已發表的研究成果或將其集成到其他軟件中時引用我們的論文。

如需更多信息或有相關需求，請訪問PhoBERT主頁！

📄 許可證

本項目採用MIT許可證。