BERT Review

🚀 ReviewBERT

ReviewBERTは、レビューコーパスから（事後）学習されたBERTモデルで、感情、選択肢、およびさまざまな電子商取引の側面を理解することができます。

BERT_Reviewはクロスドメイン（laptopやrestaurantだけに限らず）の言語モデルで、ランダムに混合されたドメインの1つの例を持ち、5コアのAmazonレビューとすべてのYelpデータを組み合わせて事後学習（微調整）されており、合計で約22GBになることが予想されます。このモデルはbert-base-uncased上で4エポック学習されています。 前処理コードはこちらにあります。

✨ 主な機能

モデルの説明

元のモデルはWikipedia+BookCorpusから学習されたBERT-base-uncasedです。 モデルはAmazonデータセットとYelpデータセットから事後学習されています。

🚀 クイックスタート

事後学習済みの重みの読み込み

事後学習済みの重みを読み込むのは非常に簡単です。例えば、以下のようにします。

import torch
from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("activebus/BERT_Review")
model = AutoModel.from_pretrained("activebus/BERT_Review")

📚 ドキュメント

評価結果

詳細な評価結果については、NAACLの論文をご覧ください。 BERT_Reviewは、特定ドメインのタスク（アスペクト抽出など）ではBERT-DKと同程度の性能を発揮することが予想されますが、アスペクト感情分類などの一般的なタスクでははるかに優れた性能を示すと考えられています（異なるドメインでも多くの場合、類似した感情表現の単語が使われています）。

📄 ライセンス

この研究が役に立った場合は、以下のように引用してください。

@inproceedings{xu_bert2019,
    title = "BERT Post-Training for Review Reading Comprehension and Aspect-based Sentiment Analysis",
    author = "Xu, Hu and Liu, Bing and Shu, Lei and Yu, Philip S.",
    booktitle = "Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics",
    month = "jun",
    year = "2019",
}