Diffcse Bert Base Uncased Trans

🚀 DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings

arXivリンク: https://arxiv.org/abs/2204.10298
NAACL 2022に掲載予定

著者: Yung-Sung Chuang, Rumen Dangovski, Hongyin Luo, Yang Zhang, Shiyu Chang, Marin Soljačić, Shang-Wen Li, Scott Wen-tau Yih, Yoon Kim, James Glass

当社のコードは主にSimCSEのコードに基づいています。詳細な情報は、彼らのリポジトリを参照してください。

✨ 主な機能

私たちは、文埋め込みを学習するための教師なし対照学習フレームワークであるDiffCSEを提案します。DiffCSEは、元の文と編集された文の違いに敏感な文埋め込みを学習します。ここで、編集された文は、元の文を確率的にマスクし、その後マスク言語モデルからサンプリングすることで得られます。私たちは、DiffSCEが等変対照学習の一例であることを示しています(Dangovski et al., 2021)。これは対照学習を一般化し、特定のタイプの拡張に対して鈍感で、他の「有害な」タイプの拡張に対して敏感な表現を学習します。私たちの実験では、DiffCSEが教師なし文表現学習方法の中で最先端の結果を達成し、教師なしSimCSEを意味的テキスト類似性タスクで絶対値で2.3ポイント上回っています。

🚀 クイックスタート

📦 インストール

必要条件

• Python 3.9.5

カスタマイズされたTransformersパッケージのインストール

cd transformers-4.2.1
pip install .

もしすでにtransformers==4.2.1をpipでインストールしている場合は、modeling_bert.pyを<your_python_env>/site-packages/transformers/models/bert/modeling_bert.pyに、modeling_roberta.pyを<your_python_env>/site-packages/transformers/models/bert/modeling_roberta.pyに配置する必要があります。 私たちは、BERT/RoBERTaを使用して_条件付き_事前学習タスクを実行できるように、このパッケージ内のこれら2つのファイルを変更しています。可能であれば、直接pipでカスタマイズされたTransformersパッケージをインストールしてください。

その他のパッケージのインストール

pip install -r requirements.txt

事前学習データセットのダウンロード

cd data
bash download_wiki.sh

下流データセットのダウンロード

cd SentEval/data/downstream/
bash download_dataset.sh

トレーニング

(run_diffcse.shと同じ)

python train.py \
    --model_name_or_path bert-base-uncased \
    --generator_name distilbert-base-uncased \
    --train_file data/wiki1m_for_simcse.txt \
    --output_dir <your_output_model_dir> \
    --num_train_epochs 2 \
    --per_device_train_batch_size 64 \
    --learning_rate 7e-6 \
    --max_seq_length 32 \
    --evaluation_strategy steps \
    --metric_for_best_model stsb_spearman \
    --load_best_model_at_end \
    --eval_steps 125 \
    --pooler_type cls \
    --mlp_only_train \
    --overwrite_output_dir \
    --logging_first_step \
    --logging_dir <your_logging_dir> \
    --temp 0.05 \
    --do_train \
    --do_eval \
    --batchnorm \
    --lambda_weight 0.005 \
    --fp16 --masking_ratio 0.30

私たちの新しい引数:

• --lambda_weight: 論文のセクション3で述べられているラムダ係数。
• --masking_ratio: MLMジェネレータがトークンをランダムに置き換えるためのマスキング比率。
• --generator_name: ジェネレータのモデル名。bert-base-uncasedの場合はdistilbert-base-uncasedを使用します。roberta-baseの場合はdistilroberta-baseを使用します。

SimCSEからの引数:

• --train_file: トレーニングファイルのパス (data/wiki1m_for_simcse.txt)。
• --model_name_or_path: BERTベースのモデル (bert-base-uncased, bert-large-uncasedなど) やRoBERTaベースのモデル (RoBERTa-base, RoBERTa-large) など、開始するための事前学習済みチェックポイント。
• --temp: 対照損失の温度。常に0.05を使用します。
• --pooler_type: プーリング方法。
• --mlp_only_train: 教師なしSimCSEまたはDiffCSEの場合、MLPレイヤーでモデルをトレーニングし、MLPレイヤーなしでモデルをテストする方がうまくいきます。教師なしSimCSE/DiffCSEモデルをトレーニングする際には、この引数を使用する必要があります。

論文の結果については、CUDA 11.2を搭載したNVidia 2080Ti GPUを使用しています。異なるタイプのデバイスや、異なるバージョンのCUDA/Python/PyTorchを使用すると、性能がわずかに異なる場合があります。

評価

私たちは、結果を簡単に再現するためのシンプルなColabノートブックを提供しています。また、以下のコマンドを実行して評価することもできます。

python evaluation.py \
    --model_name_or_path <your_output_model_dir> \
    --pooler cls_before_pooler \
    --task_set <sts|transfer|full> \
    --mode test

事前学習済みのDiffCSEチェックポイントを評価するには、以下のスクリプトを使用できます。

BERT

STS

python evaluation.py \
    --model_name_or_path voidism/diffcse-bert-base-uncased-sts \
    --pooler cls_before_pooler \
    --task_set sts \
    --mode test

転移タスク

python evaluation.py \
    --model_name_or_path voidism/diffcse-bert-base-uncased-trans \
    --pooler cls_before_pooler \
    --task_set transfer \
    --mode test

RoBERTa

STS

python evaluation.py \
    --model_name_or_path voidism/diffcse-roberta-base-sts \
    --pooler cls_before_pooler \
    --task_set sts \
    --mode test

転移タスク

python evaluation.py \
    --model_name_or_path voidism/diffcse-roberta-base-trans \
    --pooler cls_before_pooler \
    --task_set transfer \
    --mode test

詳細な情報については、SimCSEのGitHubリポジトリを確認してください。

事前学習済みモデル

• DiffCSE-BERT-base (STS): https://huggingface.co/voidism/diffcse-bert-base-uncased-sts
• DiffCSE-BERT-base (転移タスク): https://huggingface.co/voidism/diffcse-bert-base-uncased-trans
• DiffCSE-RoBERTa-base (STS): https://huggingface.co/voidism/diffcse-roberta-base-sts
• DiffCSE-RoBERTa-base (転移タスク): https://huggingface.co/voidism/diffcse-roberta-base-trans

SimCSEが提供するAPIを使用してモデルをロードできます。 詳細については、Getting Startedを参照してください。

from diffcse import DiffCSE
model_bert_sts = DiffCSE("voidism/diffcse-bert-base-uncased-sts")
model_bert_trans = DiffCSE("voidism/diffcse-bert-base-uncased-trans")
model_roberta_sts = DiffCSE("voidism/diffcse-roberta-base-sts")
model_roberta_trans = DiffCSE("voidism/diffcse-roberta-base-trans")

📄 ライセンス

本プロジェクトは、Apache 2.0ライセンスの下で公開されています。

引用

もしこれらの論文があなたの研究に役立った場合は、以下のように引用してください。

@inproceedings{chuang2022diffcse,
   title={{DiffCSE}: Difference-based Contrastive Learning for Sentence Embeddings},
   author={Chuang, Yung-Sung and Dangovski, Rumen and Luo, Hongyin and Zhang, Yang and Chang, Shiyu and Soljacic, Marin and Li, Shang-Wen and Yih, Wen-tau and Kim, Yoon and Glass, James},
   booktitle={Annual Conference of the North American Chapter of the Association for Computational Linguistics (NAACL)},
   year={2022}
}

@inproceedings{gao2021simcse,
   title={{SimCSE}: Simple Contrastive Learning of Sentence Embeddings},
   author={Gao, Tianyu and Yao, Xingcheng and Chen, Danqi},
   booktitle={Empirical Methods in Natural Language Processing (EMNLP)},
   year={2021}
}