MQDD Pretrained

🚀 MQDD - マルチモーダル質問重複検出

このリポジトリは、論文MQDD – Pre-training of Multimodal Question Duplicity Detection for Software Engineering Domainの事前学習済みモデルを公開しています。詳細については、論文を参照してください。 論文中で提示されているStack Overflow Datasets (SOD) と Stack Overflow Duplicity Dataset (SODD) は、私たちのStack Overflow Datasetリポジトリから取得できます。

微調整済みのモデルを取得するには、UWB-AIR/MQDD-duplicateを参照してください。

MQDDモデルは、Longformerアーキテクチャに基づいており、2億1850万の学習例で事前学習されています。このモデルは、MLM学習目的と、重複検出タスクを特に対象とした新しいSame Post (SP) およびQuestion Answer (QA) 学習目的を伴って学習されました。

以下のソースコードスニペットを使用して、モデルをロードすることができます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("UWB-AIR/MQDD-pretrained")
model = AutoModel.from_pretrained("UWB-AIR/MQDD-pretrained")

📄 ライセンス

この作品は、Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International Licenseの下でライセンスされています。http://creativecommons.org/licenses/by-nc-sa/4.0/

🔖 MQDDを引用するには？

現時点では、Arxivの論文を引用してください。

@misc{https://doi.org/10.48550/arxiv.2203.14093,
  doi = {10.48550/ARXIV.2203.14093},
  url = {https://arxiv.org/abs/2203.14093},
  author = {Pašek, Jan and Sido, Jakub and Konopík, Miloslav and Pražák, Ondřej},
  title = {MQDD -- Pre-training of Multimodal Question Duplicity Detection for Software Engineering Domain},
  publisher = {arXiv},
  year = {2022},
  copyright = {Creative Commons Attribution Non Commercial Share Alike 4.0 International}
}