Politbert

🚀 PolitBERT

PolitBERT是一個專門針對英語國家政治家的政治演講、訪談和新聞發佈會進行訓練的模型，能夠在相關政治文本處理任務中發揮重要作用。

🚀 快速開始

若要預測句子中缺失的單詞，可應用以下代碼：

from transformers import pipeline, BertTokenizer, AutoModel

fill_mask = pipeline("fill-mask", 
                     model=AutoModel.from_pretrained('maurice/PolitBERT'), 
                     tokenizer=BertTokenizer.from_pretrained('bert-base-uncased'))

print(fill_mask('Donald Trump is a [MASK].'))

✨ 主要特性

該模型專為英語國家政治家的政治演講、訪談和新聞發佈會等文本而設計，具有很強的針對性。

📦 安裝指南

文檔未提供具體安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

from transformers import pipeline, BertTokenizer, AutoModel

fill_mask = pipeline("fill-mask", 
                     model=AutoModel.from_pretrained('maurice/PolitBERT'), 
                     tokenizer=BertTokenizer.from_pretrained('bert-base-uncased'))

print(fill_mask('Donald Trump is a [MASK].'))

📚 詳細文檔

訓練情況

• 模型初始化：使用BERT_BASE的預訓練權重進行初始化。
• 訓練任務：在標準的MLM任務上進行訓練，訓練20個輪次，使用默認參數。
• 學習率：使用的學習率為5e - 5，採用線性遞減的調度策略和AdamW優化器。
• 批次大小：在兩塊Nvidia GTX TITAN X上進行訓練，每個GPU的批次大小為8。
• 其他配置：其餘使用的配置與AutoConfig.from_pretrained('bert-base-uncased')相同。
• 分詞器：使用BERT的默認分詞器（BertTokenizer.from_pretrained('bert-base-uncased')）

數據集

PolitBERT在以下數據集上進行訓練，該數據集已被拆分為單句： https://www.kaggle.com/mauricerupp/englishspeaking-politicians

訓練結果

• 評估損失：
• 訓練損失：
• 學習率調度：

🔧 技術細節

該模型基於BERT_BASE進行初始化，在特定的政治文本數據集上進行訓練。通過在標準的MLM任務上進行20個輪次的訓練，不斷調整模型參數，以適應政治演講、訪談和新聞發佈會等文本的特點。學習率的線性遞減調度策略有助於模型在訓練後期更穩定地收斂。

📄 許可證

文檔未提供許可證信息，故跳過此章節。