Bertweet Large

🚀 BERTweet：用於英文推文的預訓練語言模型

BERTweet是首個公開的、針對英文推文進行預訓練的大規模語言模型。它基於RoBERTa預訓練流程進行訓練。用於預訓練BERTweet的語料庫包含8.5億條英文推文（160億個單詞標記，約80GB），其中8.45億條推文是從2012年1月到2019年8月期間收集的，另外50萬條推文與COVID - 19疫情相關。BERTweet的總體架構和實驗結果可在我們的論文中找到：

@inproceedings{bertweet,
title     = {{BERTweet: A pre-trained language model for English Tweets}},
author    = {Dat Quoc Nguyen and Thanh Vu and Anh Tuan Nguyen},
booktitle = {Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations},
pages     = {9--14},
year      = {2020}
}

請引用我們的論文，當你使用BERTweet來幫助產生已發表的研究成果或將其集成到其他軟件中時。

如需更多信息或有相關請求，請訪問BERTweet主頁！

✨ 主要特性

主要實驗結果

📄 許可證

本項目採用MIT許可證。