Politbert

🚀 PolitBERT

このモデルは、英語を話す政治家の政治演説、インタビュー、記者会見に特化するために作成されました。

🚀 クイックスタート

このセクションでは、PolitBERTを使用して文章の欠損単語を予測する方法を紹介します。

✨ 主な機能

• 英語を話す政治家の政治演説、インタビュー、記者会見に特化したモデルです。
• BERT_BASEの事前学習済みの重みを使用して初期化されています。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略します。

💻 使用例

基本的な使用法

文章の欠損単語を予測するには、以下のパイプラインを適用できます。

from transformers import pipeline, BertTokenizer, AutoModel

fill_mask = pipeline("fill-mask", 
                     model=AutoModel.from_pretrained('maurice/PolitBERT'), 
                     tokenizer=BertTokenizer.from_pretrained('bert-base-uncased'))

print(fill_mask('Donald Trump is a [MASK].'))

📚 ドキュメント

学習

モデルは、BERT_BASEの事前学習済みの重みを使用して初期化され、標準のMLMタスクでデフォルトのパラメータで20エポック学習されました。 使用された学習率は5e-5で、線形減衰スケジュールとAdamWが使用されました。 2つのNvidia GTX TITAN Xで学習する際のバッチサイズはGPUごとに8です。 使用されたその他の設定は、AutoConfig.from_pretrained('bert-base-uncased')と同じです。 トークナイザーとしては、BERTのデフォルトのトークナイザー（BertTokenizer.from_pretrained('bert-base-uncased')）が使用されました。

データセット

PolitBERTは、以下のデータセットで学習されており、単一の文に分割されています。 https://www.kaggle.com/mauricerupp/englishspeaking-politicians

学習結果

評価損失: 学習損失: 学習率スケジュール:

🔧 技術詳細

モデルは、BERT_BASEの事前学習済みの重みを使用して初期化され、標準のMLMタスクでデフォルトのパラメータで20エポック学習されました。使用された学習率は5e-5で、線形減衰スケジュールとAdamWが使用されました。2つのNvidia GTX TITAN Xで学習する際のバッチサイズはGPUごとに8です。使用されたその他の設定は、AutoConfig.from_pretrained('bert-base-uncased')と同じです。トークナイザーとしては、BERTのデフォルトのトークナイザー（BertTokenizer.from_pretrained('bert-base-uncased')）が使用されました。

📄 ライセンス

このREADMEにはライセンス情報が記載されていないため、このセクションは省略します。