MQDD Pretrained

🚀 MQDD - 多模态问题重复检测

本项目发布了论文 MQDD – 软件工程领域多模态问题重复检测的预训练 中的预训练模型。更多信息请查阅该论文。

论文中提及的 Stack Overflow 数据集（SOD）和 Stack Overflow 重复数据集（SODD）可从我们的 Stack Overflow 数据集仓库 获取。

若要获取微调后的模型，请访问 UWB-AIR/MQDD-duplicate。

MQDD 模型基于 Longformer 架构，在 2.185 亿个训练示例上进行了预训练。该模型使用 MLM 训练目标进行训练，并结合了我们提出的专门针对重复检测任务的相同帖子（SP）和问答（QA）学习目标。

🚀 快速开始

模型可以使用以下代码片段进行加载：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("UWB-AIR/MQDD-pretrained")
model = AutoModel.from_pretrained("UWB-AIR/MQDD-pretrained")

📄 许可证

本作品采用知识共享署名 - 非商业性使用 - 相同方式共享 4.0 国际许可协议进行许可。请访问 许可协议链接 查看详细信息。

如何引用 MQDD？

目前，请引用 Arxiv 论文：

@misc{https://doi.org/10.48550/arxiv.2203.14093,
  doi = {10.48550/ARXIV.2203.14093},
  url = {https://arxiv.org/abs/2203.14093},
  author = {Pašek, Jan and Sido, Jakub and Konopík, Miloslav and Pražák, Ondřej},
  title = {MQDD -- Pre-training of Multimodal Question Duplicity Detection for Software Engineering Domain},
  publisher = {arXiv},
  year = {2022},
  copyright = {Creative Commons Attribution Non Commercial Share Alike 4.0 International}
}