MQDD Pretrained

🚀 MQDD - 多模態問題重複檢測

本項目發佈了論文 MQDD – 軟件工程領域多模態問題重複檢測的預訓練 中的預訓練模型。更多信息請查閱該論文。

論文中提及的 Stack Overflow 數據集（SOD）和 Stack Overflow 重複數據集（SODD）可從我們的 Stack Overflow 數據集倉庫 獲取。

若要獲取微調後的模型，請訪問 UWB-AIR/MQDD-duplicate。

MQDD 模型基於 Longformer 架構，在 2.185 億個訓練示例上進行了預訓練。該模型使用 MLM 訓練目標進行訓練，並結合了我們提出的專門針對重複檢測任務的相同帖子（SP）和問答（QA）學習目標。

🚀 快速開始

模型可以使用以下代碼片段進行加載：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("UWB-AIR/MQDD-pretrained")
model = AutoModel.from_pretrained("UWB-AIR/MQDD-pretrained")

📄 許可證

本作品採用知識共享署名 - 非商業性使用 - 相同方式共享 4.0 國際許可協議進行許可。請訪問 許可協議鏈接 查看詳細信息。

如何引用 MQDD？

目前，請引用 Arxiv 論文：

@misc{https://doi.org/10.48550/arxiv.2203.14093,
  doi = {10.48550/ARXIV.2203.14093},
  url = {https://arxiv.org/abs/2203.14093},
  author = {Pašek, Jan and Sido, Jakub and Konopík, Miloslav and Pražák, Ondřej},
  title = {MQDD -- Pre-training of Multimodal Question Duplicity Detection for Software Engineering Domain},
  publisher = {arXiv},
  year = {2022},
  copyright = {Creative Commons Attribution Non Commercial Share Alike 4.0 International}
}