Politbert

🚀 PolitBERT

PolitBERT是一个专门针对英语国家政治家的政治演讲、访谈和新闻发布会进行训练的模型，能够在相关政治文本处理任务中发挥重要作用。

🚀 快速开始

若要预测句子中缺失的单词，可应用以下代码：

from transformers import pipeline, BertTokenizer, AutoModel

fill_mask = pipeline("fill-mask", 
                     model=AutoModel.from_pretrained('maurice/PolitBERT'), 
                     tokenizer=BertTokenizer.from_pretrained('bert-base-uncased'))

print(fill_mask('Donald Trump is a [MASK].'))

✨ 主要特性

该模型专为英语国家政治家的政治演讲、访谈和新闻发布会等文本而设计，具有很强的针对性。

📦 安装指南

文档未提供具体安装步骤，故跳过此章节。

💻 使用示例

基础用法

from transformers import pipeline, BertTokenizer, AutoModel

fill_mask = pipeline("fill-mask", 
                     model=AutoModel.from_pretrained('maurice/PolitBERT'), 
                     tokenizer=BertTokenizer.from_pretrained('bert-base-uncased'))

print(fill_mask('Donald Trump is a [MASK].'))

📚 详细文档

训练情况

• 模型初始化：使用BERT_BASE的预训练权重进行初始化。
• 训练任务：在标准的MLM任务上进行训练，训练20个轮次，使用默认参数。
• 学习率：使用的学习率为5e - 5，采用线性递减的调度策略和AdamW优化器。
• 批次大小：在两块Nvidia GTX TITAN X上进行训练，每个GPU的批次大小为8。
• 其他配置：其余使用的配置与AutoConfig.from_pretrained('bert-base-uncased')相同。
• 分词器：使用BERT的默认分词器（BertTokenizer.from_pretrained('bert-base-uncased')）

数据集

PolitBERT在以下数据集上进行训练，该数据集已被拆分为单句： https://www.kaggle.com/mauricerupp/englishspeaking-politicians

训练结果

• 评估损失：
• 训练损失：
• 学习率调度：

🔧 技术细节

该模型基于BERT_BASE进行初始化，在特定的政治文本数据集上进行训练。通过在标准的MLM任务上进行20个轮次的训练，不断调整模型参数，以适应政治演讲、访谈和新闻发布会等文本的特点。学习率的线性递减调度策略有助于模型在训练后期更稳定地收敛。

📄 许可证

文档未提供许可证信息，故跳过此章节。