Bert Election2020 Twitter Stance Biden KE MLM

🚀 2020年アメリカ大統領選挙におけるバイデンに対する立場検出のための事前学習BERTモデル（KE - MLM）

本プロジェクトは、立場検出のための知識強化マスク言語モデル（NAACL 2021）におけるKE - MLMモデルの事前学習済みの重みを提供します。このモデルは、ジョー・バイデンに対する立場を検出するために使用でき、重要な政治分析の価値を持ちます。

✨ 主な機能

• 2020年のアメリカ大統領選挙に関する500万を超える英語のツイートを使用して事前学習されています。
• 立場ラベル付きデータを利用して、ジョー・バイデンに対する立場検出について微調整されています。
• BERT - baseをベースに初期化され、通常のMLM目標で学習され、ジョー・バイデンに対する立場検出のために分類層が微調整されています。

📦 インストール

ドキュメントに具体的なインストール手順は記載されていません。公式リポジトリを参照して、インストールに関する情報を取得してください。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
import numpy as np

# choose GPU if available
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# select mode path here
pretrained_LM_path = "kornosk/bert-election2020-twitter-stance-biden-KE-MLM"

# load model
tokenizer = AutoTokenizer.from_pretrained(pretrained_LM_path)
model = AutoModelForSequenceClassification.from_pretrained(pretrained_LM_path)

id2label = {
    0: "AGAINST",
    1: "FAVOR",
    2: "NONE"
}

##### Prediction Neutral #####
sentence = "Hello World."
inputs = tokenizer(sentence.lower(), return_tensors="pt")
outputs = model(**inputs)
predicted_probability = torch.softmax(outputs[0], dim=1)[0].tolist()

print("Sentence:", sentence)
print("Prediction:", id2label[np.argmax(predicted_probability)])
print("Against:", predicted_probability[0])
print("Favor:", predicted_probability[1])
print("Neutral:", predicted_probability[2])

##### Prediction Favor #####
sentence = "Go Go Biden!!!"
inputs = tokenizer(sentence.lower(), return_tensors="pt")
outputs = model(**inputs)
predicted_probability = torch.softmax(outputs[0], dim=1)[0].tolist()

print("Sentence:", sentence)
print("Prediction:", id2label[np.argmax(predicted_probability)])
print("Against:", predicted_probability[0])
print("Favor:", predicted_probability[1])
print("Neutral:", predicted_probability[2])

##### Prediction Against #####
sentence = "Biden is the worst."
inputs = tokenizer(sentence.lower(), return_tensors="pt")
outputs = model(**inputs)
predicted_probability = torch.softmax(outputs[0], dim=1)[0].tolist()

print("Sentence:", sentence)
print("Prediction:", id2label[np.argmax(predicted_probability)])
print("Against:", predicted_probability[0])
print("Favor:", predicted_probability[1])
print("Neutral:", predicted_probability[2])

# please consider citing our paper if you feel this is useful :)

📚 ドキュメント

この事前学習済み言語モデルは、ジョー・バイデンに対する立場検出タスクについて微調整されています。詳細な情報は、公式リポジトリを参照してください。

🔧 技術詳細

学習データ

このモデルは、2020年のアメリカ大統領選挙に関する500万を超える英語のツイートで事前学習され、その後、立場ラベル付きデータを使用して、ジョー・バイデンに対する立場検出について微調整されています。

学習目標

モデルはBERT - baseをベースに初期化され、通常のMLM目標で学習され、ジョー・バイデンに対する立場検出のために分類層が微調整されています。

📄 ライセンス

本プロジェクトはGPL - 3.0ライセンスの下で提供されています。

📖 参考文献

• 立場検出のための知識強化マスク言語モデル，NAACL 2021。

📚 引用形式

@inproceedings{kawintiranon2021knowledge,
    title={Knowledge Enhanced Masked Language Model for Stance Detection},
    author={Kawintiranon, Kornraphop and Singh, Lisa},
    booktitle={Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies},
    year={2021},
    publisher={Association for Computational Linguistics},
    url={https://www.aclweb.org/anthology/2021.naacl-main.376}
}