Indobertweet Base Uncased

🚀 IndoBERTweet 🐦

IndoBERTweetは、インドネシア語のTwitter向けに開発された事前学習言語モデルです。特定ドメインの語彙を効果的に初期化することで、Twitterの文脈に特化した性能を発揮します。

🚀 クイックスタート

モデルとトークナイザーの読み込み

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("indolem/indobertweet-base-uncased")
model = AutoModel.from_pretrained("indolem/indobertweet-base-uncased")

前処理手順

• すべての単語を小文字にする
• ユーザーメンションとURLをそれぞれ@USERとHTTPURLに変換する
• emojiパッケージを使用して絵文字をテキストに変換する

✨ 主な機能

IndoBERTweetは、インドネシア語のTwitterデータに特化した事前学習モデルです。特定ドメインの語彙を平均プーリングによって初期化することで、ゼロからの事前学習よりも効率的で、word2vec投影に基づく初期化よりも効果的です。

📚 ドキュメント

論文

Fajri Koto, Jey Han Lau, and Timothy Baldwin. IndoBERTweet: A Pretrained Language Model for Indonesian Twitter with Effective Domain-Specific Vocabulary Initialization. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), Dominican Republic (virtual).

概要

IndoBERTweetは、インドネシア語のTwitter向けの最初の大規模事前学習モデルです。単言語で学習されたインドネシア語のBERTモデルに、特定ドメインの語彙を追加して学習されています。

事前学習データ

2019年12月から2020年12月までの1年間、公式Twitter APIを使用してインドネシア語のツイートを収集しました。経済、健康、教育、政府の4つの主要トピックをカバーする60のキーワードを使用し、合計4億900万語トークンを取得しました。これは、IndoBERTの事前学習に使用されたトレーニングデータの2倍のサイズです。Twitterのポリシーにより、この事前学習データは公開されません。

7つのインドネシア語Twitterデータセットでの結果

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。

引用

もしこの研究を利用する場合は、以下のように引用してください。

@inproceedings{koto2021indobertweet,
  title={IndoBERTweet: A Pretrained Language Model for Indonesian Twitter with Effective Domain-Specific Vocabulary Initialization},
  author={Fajri Koto and Jey Han Lau and Timothy Baldwin},
  booktitle={Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021)},
  year={2021}
}