MQDD Duplicates

🚀 MQDD - マルチモーダル質問重複検出

このリポジトリでは、論文MQDD – Pre-training of Multimodal Question Duplicity Detection for Software Engineering Domainの学習済みモデルやその他のサポート資料を公開しています。詳細については、論文を参照してください。論文中で提示されているStack Overflow Datasets (SOD) とStack Overflow Duplicity Dataset (SODD) は、Stack Overflow Datasetリポジトリから取得できます。

事前学習済みモデルのみを取得する場合は、UWB-AIR/MQDD-pretrainedを参照してください。

🚀 クイックスタート

✨ 主な機能

重複質問検出タスクに対して、MQDDモデルの微調整バージョンを公開しています。このモデルのアーキテクチャは、下図のような2塔式モデルのアーキテクチャに従っています。

重複検出ヘッドのない自立型エンコーダは、以下のソースコードスニペットを使用してロードできます。このようなモデルは、例えばFaissライブラリに基づく検索システムの構築に使用できます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("UWB-AIR/MQDD-duplicates")
model = AutoModel.from_pretrained("UWB-AIR/MQDD-duplicates")

完全な2塔式モデルのチェックポイントは、GoogleDriveフォルダから取得できます。モデルをロードするには、GitHubリポジトリのmodels/MQDD_model.pyからモデルの実装を使用する必要があります。モデルを構築してチェックポイントをロードするには、以下のソースコードを使用します。

高度な使用法

from MQDD_model import ClsHeadModelMQDD

model = ClsHeadModelMQDD("UWB-AIR/MQDD-duplicates")
ckpt = torch.load("model.pt",  map_location="cpu")
model.load_state_dict(ckpt["model_state"])

📄 ライセンス

この作品は、Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International Licenseの下でライセンスされています。http://creativecommons.org/licenses/by-nc-sa/4.0/

📚 ドキュメント

MQDDをどのように引用すればよいですか？

現時点では、Arxivの論文を引用してください。

@misc{https://doi.org/10.48550/arxiv.2203.14093,
  doi = {10.48550/ARXIV.2203.14093},
  url = {https://arxiv.org/abs/2203.14093},
  author = {Pašek, Jan and Sido, Jakub and Konopík, Miloslav and Pražák, Ondřej},
  title = {MQDD -- Pre-training of Multimodal Question Duplicity Detection for Software Engineering Domain},
  publisher = {arXiv},
  year = {2022},
  copyright = {Creative Commons Attribution Non Commercial Share Alike 4.0 International}
}