Bertweet Covid19 Base Uncased

🚀 BERTweet：用於英文推文的預訓練語言模型

BERTweet是首個公開的、針對英文推文進行預訓練的大規模語言模型。它基於RoBERTa預訓練流程進行訓練。用於預訓練BERTweet的語料庫包含8.5億條英文推文（160億個單詞標記，約80GB），其中包括從2012年1月至2019年8月期間流式收集的8.45億條推文，以及與COVID - 19疫情相關的50萬條推文。BERTweet的總體架構和實驗結果可在我們的論文中找到：

@inproceedings{bertweet,
title     = {{BERTweet: A pre-trained language model for English Tweets}},
author    = {Dat Quoc Nguyen and Thanh Vu and Anh Tuan Nguyen},
booktitle = {Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations},
pages     = {9--14},
year      = {2020}
}

請在使用BERTweet來輔助產生已發表的研究成果或將其集成到其他軟件中時引用我們的論文。

如需更多信息或有相關需求，請訪問BERTweet主頁！

📄 許可證

本項目採用MIT許可證。