Twhin Bert Large

🚀 TwHIN-BERT：用於多語言推文表示的社交增強預訓練語言模型

TwHIN-BERT是一個新的多語言推文語言模型，它基於100多種不同語言的70億條推文進行訓練。該模型不僅可用於各種NLP和推薦任務，還在語義理解和社交推薦任務中表現出色。

🚀 快速開始

本倉庫包含了我們論文 TwHIN-BERT: A Socially-Enriched Pre-trained Language Model for Multilingual Tweet Representations 中的模型、代碼和數據集相關信息。 [PDF] [HuggingFace模型]

概述

TwHIN-BERT是一種全新的多語言推文語言模型，它在來自100多種不同語言的70億條推文中進行訓練。與之前的預訓練語言模型不同，TwHIN-BERT不僅基於文本進行自監督訓練（例如MLM），還結合了Twitter異構信息網絡（TwHIN）中豐富的社交互動，引入了社交目標進行訓練。

TwHIN-BERT可直接替代BERT，應用於各種NLP和推薦任務。它不僅在語義理解任務（如文本分類）中優於同類模型，還在社交推薦任務（如預測用戶與推文的互動）中表現出色。

✨ 主要特性

• 多語言支持：支持包括英語、日語、葡萄牙語、西班牙語等在內的100多種語言。
• 社交增強訓練：結合Twitter異構信息網絡中的社交互動進行訓練，提升社交推薦任務的性能。
• 可替代BERT：可直接替代BERT應用於各種NLP和推薦任務。

📦 安裝指南

我們最初發布了兩個預訓練的TwHIN-BERT模型（基礎版和大型版），它們與 HuggingFace BERT模型 兼容。

要在 🤗 Transformers 中使用這些模型：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('Twitter/twhin-bert-large')
model = AutoModel.from_pretrained('Twitter/twhin-bert-large')
inputs = tokenizer("I'm using TwHIN-BERT! #TwHIN-BERT #NLP", return_tensors="pt")
outputs = model(**inputs)

📄 許可證

本項目採用 Apache-2.0 許可證。

📚 詳細文檔

引用

如果您在工作中使用了TwHIN-BERT或我們的數據集，請引用以下內容：

@article{zhang2022twhin,
  title={TwHIN-BERT: A Socially-Enriched Pre-trained Language Model for Multilingual Tweet Representations},
  author={Zhang, Xinyang and Malkov, Yury and Florez, Omar and Park, Serim and McWilliams, Brian and Han, Jiawei and El-Kishky, Ahmed},
  journal={arXiv preprint arXiv:2209.07562},
  year={2022}
}