Twhin Bert Large

🚀 TwHIN-BERT：用于多语言推文表示的社交增强预训练语言模型

TwHIN-BERT是一个新的多语言推文语言模型，它基于100多种不同语言的70亿条推文进行训练。该模型不仅可用于各种NLP和推荐任务，还在语义理解和社交推荐任务中表现出色。

🚀 快速开始

本仓库包含了我们论文 TwHIN-BERT: A Socially-Enriched Pre-trained Language Model for Multilingual Tweet Representations 中的模型、代码和数据集相关信息。 [PDF] [HuggingFace模型]

概述

TwHIN-BERT是一种全新的多语言推文语言模型，它在来自100多种不同语言的70亿条推文中进行训练。与之前的预训练语言模型不同，TwHIN-BERT不仅基于文本进行自监督训练（例如MLM），还结合了Twitter异构信息网络（TwHIN）中丰富的社交互动，引入了社交目标进行训练。

TwHIN-BERT可直接替代BERT，应用于各种NLP和推荐任务。它不仅在语义理解任务（如文本分类）中优于同类模型，还在社交推荐任务（如预测用户与推文的互动）中表现出色。

✨ 主要特性

• 多语言支持：支持包括英语、日语、葡萄牙语、西班牙语等在内的100多种语言。
• 社交增强训练：结合Twitter异构信息网络中的社交互动进行训练，提升社交推荐任务的性能。
• 可替代BERT：可直接替代BERT应用于各种NLP和推荐任务。

📦 安装指南

我们最初发布了两个预训练的TwHIN-BERT模型（基础版和大型版），它们与 HuggingFace BERT模型 兼容。

要在 🤗 Transformers 中使用这些模型：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('Twitter/twhin-bert-large')
model = AutoModel.from_pretrained('Twitter/twhin-bert-large')
inputs = tokenizer("I'm using TwHIN-BERT! #TwHIN-BERT #NLP", return_tensors="pt")
outputs = model(**inputs)

📄 许可证

本项目采用 Apache-2.0 许可证。

📚 详细文档

引用

如果您在工作中使用了TwHIN-BERT或我们的数据集，请引用以下内容：

@article{zhang2022twhin,
  title={TwHIN-BERT: A Socially-Enriched Pre-trained Language Model for Multilingual Tweet Representations},
  author={Zhang, Xinyang and Malkov, Yury and Florez, Omar and Park, Serim and McWilliams, Brian and Han, Jiawei and El-Kishky, Ahmed},
  journal={arXiv preprint arXiv:2209.07562},
  year={2022}
}