Twhin Bert Large

🚀 TwHIN-BERT: 多言語ツイート表現のための社会的に強化された事前学習言語モデル

TwHIN-BERTは、100種類以上の言語の約70億件のツイートを使って学習された新しい多言語ツイート言語モデルです。このモデルは、テキストベースの自己教師付き学習（例：MLM）だけでなく、Twitter異種情報ネットワーク（TwHIN）内の豊富な社会的関与に基づく社会的目的で学習されており、従来の事前学習言語モデルとは異なります。TwHIN-BERTは、様々なNLPや推薦タスクでBERTの代わりに使用でき、テキスト分類などの意味理解タスクだけでなく、ユーザーとツイートの関与予測などの社会的推薦タスクでも他のモデルを上回ります。

🚀 クイックスタート

このリポジトリには、論文「TwHIN-BERT: A Socially-Enriched Pre-trained Language Model for Multilingual Tweet Representations」のモデル、コード、およびデータセットへのポインタが含まれています。 [PDF] [HuggingFace Models]

✨ 主な機能

TwHIN-BERTは、多言語のツイート表現に特化した事前学習言語モデルで、以下のような特徴があります。

• 100種類以上の言語の約70億件のツイートを使って学習されている。
• テキストベースの自己教師付き学習だけでなく、社会的目的でも学習されている。
• 様々なNLPや推薦タスクでBERTの代わりに使用できる。
• 意味理解タスクや社会的推薦タスクで他のモデルを上回る性能を発揮する。

📦 インストール

事前学習済みモデル

最初に、HuggingFace BERTモデルと互換性のある2つの事前学習済みTwHIN-BERTモデル（baseとlarge）を公開しています。

🤗 Transformersでこれらのモデルを使用するには、以下のコードを実行します。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('Twitter/twhin-bert-large')
model = AutoModel.from_pretrained('Twitter/twhin-bert-large')
inputs = tokenizer("I'm using TwHIN-BERT! #TwHIN-BERT #NLP", return_tensors="pt")
outputs = model(**inputs)

📄 ライセンス

このプロジェクトは、Apache License 2.0の下でライセンスされています。

引用

TwHIN-BERTまたは当社のデータセットをご利用の場合は、以下を引用してください。

@article{zhang2022twhin,
  title={TwHIN-BERT: A Socially-Enriched Pre-trained Language Model for Multilingual Tweet Representations},
  author={Zhang, Xinyang and Malkov, Yury and Florez, Omar and Park, Serim and McWilliams, Brian and Han, Jiawei and El-Kishky, Ahmed},
  journal={arXiv preprint arXiv:2209.07562},
  year={2022}
}