Multilingual Sentiment Covid19

🚀 多语言情感预测模型

本项目基于与COVID - 19相关的推文训练了一个多语言情感预测模型，能够对多种语言的文本进行情感分析，为多语言环境下的情感洞察提供了有效工具。

🚀 快速开始

模型仓库地址：https://github.com/clampert/multilingual-sentiment-analysis/

✨ 主要特性

• 多语言支持：支持多种语言的情感分析，能处理不同语言的文本。
• 大规模数据训练：基于大规模（18437530个样本）的多语言推文数据集进行训练，数据收集时间为2020年3月至2021年11月，使用Twitter的流式API和不同的COVID - 19相关关键词获取。
• 自动标注：标签基于正负面表情符号的出现情况自动生成。

📚 详细文档

模型训练

• 基础模型：使用 sentence - transformers/stsb - xlm - r - multilingual 作为基础模型。
• 微调过程：针对序列分类任务进行微调，使用 positive 和 negative 标签，训练两个轮次（在8个P100 GPU上训练48小时）。

数据集详情

数据集是通过Twitter的流式API收集的多语言推文，使用了不同的COVID - 19相关关键词。关于数据集的详细信息，请参考我们在IEEE BigData 2021上发表的论文。

📄 许可证

本项目采用Apache - 2.0许可证。

📚 引用

如果您在工作中使用了我们的模型，请引用以下文献：

@inproceedings{lampert2021overcoming,
  title={Overcoming Rare-Language Discrimination in Multi-Lingual Sentiment Analysis},
  author={Jasmin Lampert and Christoph H. Lampert},
  booktitle={IEEE International Conference on Big Data (BigData)},
  year={2021},
  note={Special Session: Machine Learning on Big Data},
}

祝您使用愉快！