Twhin Bert Base

🚀 TwHIN - BERT：用於多語言推文表示的社交增強預訓練語言模型

TwHIN - BERT是一個新的多語言推文語言模型，它基於超過100種不同語言的70億條推文進行訓練。該模型不僅可用於各種NLP任務，還能在社交推薦任務中發揮出色作用，為推文表示和相關任務提供了強大的支持。

🚀 快速開始

本倉庫包含了我們論文 TwHIN - BERT: A Socially - Enriched Pre - trained Language Model for Multilingual Tweet Representations 中的模型、代碼以及數據集的相關指引。 [PDF] [HuggingFace模型]

✨ 主要特性

TwHIN - BERT與之前的預訓練語言模型不同，它不僅基於文本進行自監督訓練（例如MLM），還結合了Twitter異構信息網絡（TwHIN）內豐富的社交互動，引入了社交目標進行訓練。它可以直接替代BERT用於各種NLP和推薦任務。在語義理解任務（如文本分類）中，它的表現優於類似模型，在預測用戶與推文互動等社交推薦任務中也表現出色。

📦 安裝指南

要在🤗 Transformers中使用這些模型，可以按照以下步驟操作：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('Twitter/twhin-bert-base')
model = AutoModel.from_pretrained('Twitter/twhin-bert-base')
inputs = tokenizer("I'm using TwHIN-BERT! #TwHIN-BERT #NLP", return_tensors="pt")
outputs = model(**inputs)

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('Twitter/twhin-bert-base')
model = AutoModel.from_pretrained('Twitter/twhin-bert-base')
inputs = tokenizer("I'm using TwHIN-BERT! #TwHIN-BERT #NLP", return_tensors="pt")
outputs = model(**inputs)

📚 詳細文檔

預訓練模型

我們最初發布了兩個預訓練的TwHIN - BERT模型（基礎版和大型版），它們與 HuggingFace BERT模型 兼容。

📄 許可證

本項目採用Apache 2.0許可證。

🔖 引用

如果您在工作中使用了TwHIN - BERT或我們的數據集，請引用以下內容：

@article{zhang2022twhin,
  title={TwHIN-BERT: A Socially-Enriched Pre-trained Language Model for Multilingual Tweet Representations},
  author={Zhang, Xinyang and Malkov, Yury and Florez, Omar and Park, Serim and McWilliams, Brian and Han, Jiawei and El-Kishky, Ahmed},
  journal={arXiv preprint arXiv:2209.07562},
  year={2022}
}