Phobert Base

🚀 PhoBERT：越南語預訓練語言模型

PhoBERT預訓練模型是越南語領域的先進語言模型（Pho，即“越南河粉”，是越南的一種流行美食）。它有以下特點：

• 提供“base”和“large”兩個版本，是首個公開的大規模越南語單語預訓練語言模型。其預訓練方法基於RoBERTa，對BERT的預訓練過程進行了優化，以實現更強大的性能。
• 在越南語的四個下游自然語言處理任務（詞性標註、依存句法分析、命名實體識別和自然語言推理）中，PhoBERT的表現優於以往的單語和多語言方法，取得了新的最優性能。

PhoBERT的總體架構和實驗結果可在我們發表於EMNLP - 2020 Findings的論文中查看：

@article{phobert,
    title     = {{PhoBERT: Pre-trained language models for Vietnamese}},
    author    = {Dat Quoc Nguyen and Anh Tuan Nguyen},
    journal   = {Findings of EMNLP},
    year      = {2020}
}

請在使用PhoBERT來幫助生成發表結果或將其集成到其他軟件中時引用我們的論文。

如需更多信息或有相關需求，請訪問PhoBERT主頁！

📄 許可證

本項目採用MIT許可證。