Bertweet Base

🚀 BERTweet：用於英文推文的預訓練語言模型

BERTweet是首個針對英文推文進行預訓練的公開大規模語言模型。它基於RoBERTa的預訓練流程進行訓練。用於預訓練BERTweet的語料庫包含8.5億條英文推文（160億個單詞標記，約80GB），其中包括從2012年1月到2019年8月期間流式傳輸的8.45億條推文，以及與COVID - 19大流行相關的50萬條推文。BERTweet的總體架構和實驗結果可在我們的論文中找到：

@inproceedings{bertweet,
    title     = {{BERTweet: A pre-trained language model for English Tweets}},
    author    = {Dat Quoc Nguyen and Thanh Vu and Anh Tuan Nguyen},
    booktitle = {Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations},
    pages     = {9--14},
    year      = {2020}
}

請引用我們的論文，當你使用BERTweet來幫助產生已發表的研究成果或將其集成到其他軟件中時。

如需更多信息或有相關需求，請訪問BERTweet的主頁！

✨ 主要特性

主要實驗結果

📄 許可證

本項目採用MIT許可證。