Diffcse Roberta Base Sts

🚀 DiffCSE: 文埋め込みのための差分ベースの対照学習

DiffCSEは、文埋め込みを学習するための教師なし対照学習フレームワークです。元の文と編集された文の差分に敏感な文埋め込みを学習し、文埋め込み学習において最先端の結果を達成します。

🚀 クイックスタート

このコードは主にSimCSEのコードをベースにしています。詳細な情報は彼らのリポジトリを参照してください。

✨ 主な機能

• 教師なし対照学習フレームワークで文埋め込みを学習します。
• 元の文と編集された文の差分に敏感な文埋め込みを学習します。
• 教師なし文表現学習方法の中で最先端の結果を達成します。

📦 インストール

必要条件

• Python 3.9.5

カスタマイズされたTransformersパッケージのインストール

cd transformers-4.2.1
pip install .

もしすでにtransformers==4.2.1をpip経由でインストールしている場合は、modeling_bert.pyを<your_python_env>/site-packages/transformers/models/bert/modeling_bert.pyに、modeling_roberta.pyを<your_python_env>/site-packages/transformers/models/bert/modeling_roberta.pyに配置する必要があります。 このパッケージのこれら2つのファイルを変更することで、BERT/RoBERTaを使用した_条件付き_事前学習タスクを実行できます。可能であれば、直接pipでカスタマイズされたTransformersパッケージをインストールしてください。

その他のパッケージのインストール

pip install -r requirements.txt

事前学習データセットのダウンロード

cd data
bash download_wiki.sh

下流データセットのダウンロード

cd SentEval/data/downstream/
bash download_dataset.sh

💻 使用例

基本的な使用法

from diffcse import DiffCSE
model_bert_sts = DiffCSE("voidism/diffcse-bert-base-uncased-sts")
model_bert_trans = DiffCSE("voidism/diffcse-bert-base-uncased-trans")
model_roberta_sts = DiffCSE("voidism/diffcse-roberta-base-sts")
model_roberta_trans = DiffCSE("voidism/diffcse-roberta-base-trans")

📚 ドキュメント

トレーニング

python train.py \
    --model_name_or_path bert-base-uncased \
    --generator_name distilbert-base-uncased \
    --train_file data/wiki1m_for_simcse.txt \
    --output_dir <your_output_model_dir> \
    --num_train_epochs 2 \
    --per_device_train_batch_size 64 \
    --learning_rate 7e-6 \
    --max_seq_length 32 \
    --evaluation_strategy steps \
    --metric_for_best_model stsb_spearman \
    --load_best_model_at_end \
    --eval_steps 125 \
    --pooler_type cls \
    --mlp_only_train \
    --overwrite_output_dir \
    --logging_first_step \
    --logging_dir <your_logging_dir> \
    --temp 0.05 \
    --do_train \
    --do_eval \
    --batchnorm \
    --lambda_weight 0.005 \
    --fp16 --masking_ratio 0.30

新しい引数:

• --lambda_weight: 論文のセクション3で述べられているラムダ係数。
• --masking_ratio: MLMジェネレータがトークンをランダムに置き換えるマスキング率。
• --generator_name: ジェネレータのモデル名。bert-base-uncasedの場合はdistilbert-base-uncasedを使用し、roberta-baseの場合はdistilroberta-baseを使用します。

SimCSEからの引数:

• --train_file: トレーニングファイルのパス (data/wiki1m_for_simcse.txt)。
• --model_name_or_path: BERTベースのモデル (bert-base-uncased, bert-large-uncasedなど) やRoBERTaベースのモデル (RoBERTa-base, RoBERTa-large) などの事前学習チェックポイント。
• --temp: 対照損失の温度。常に0.05を使用します。
• --pooler_type: プーリング方法。
• --mlp_only_train: 教師なしSimCSEまたはDiffCSEの場合、MLPレイヤーでモデルをトレーニングし、MLPレイヤーなしでモデルをテストする方が良い結果が得られます。教師なしSimCSE/DiffCSEモデルをトレーニングする際にはこの引数を使用してください。

論文の結果については、CUDA 11.2を搭載したNVidia 2080Ti GPUを使用しています。異なるタイプのデバイスや異なるバージョンのCUDA/Python/PyTorchを使用すると、性能がわずかに異なる場合があります。

評価

簡単に結果を再現するためのコラボノートブックを提供しています。また、以下のコマンドを実行して評価することもできます。

python evaluation.py \
    --model_name_or_path <your_output_model_dir> \
    --pooler cls_before_pooler \
    --task_set <sts|transfer|full> \
    --mode test

事前学習されたDiffCSEチェックポイントを評価するには、以下のスクリプトを使用できます。

BERT

STS

python evaluation.py \
    --model_name_or_path voidism/diffcse-bert-base-uncased-sts \
    --pooler cls_before_pooler \
    --task_set sts \
    --mode test

転移タスク

python evaluation.py \
    --model_name_or_path voidism/diffcse-bert-base-uncased-trans \
    --pooler cls_before_pooler \
    --task_set transfer \
    --mode test

RoBERTa

STS

python evaluation.py \
    --model_name_or_path voidism/diffcse-roberta-base-sts \
    --pooler cls_before_pooler \
    --task_set sts \
    --mode test

転移タスク

python evaluation.py \
    --model_name_or_path voidism/diffcse-roberta-base-trans \
    --pooler cls_before_pooler \
    --task_set transfer \
    --mode test

詳細な情報は、SimCSEのGitHubリポジトリを確認してください。

事前学習済みモデル

• DiffCSE-BERT-base (STS): https://huggingface.co/voidism/diffcse-bert-base-uncased-sts
• DiffCSE-BERT-base (転移タスク): https://huggingface.co/voidism/diffcse-bert-base-uncased-trans
• DiffCSE-RoBERTa-base (STS): https://huggingface.co/voidism/diffcse-roberta-base-sts
• DiffCSE-RoBERTa-base (転移タスク): https://huggingface.co/voidism/diffcse-roberta-base-trans

SimCSEが提供するAPIを使用してモデルをロードすることができます。詳細については、Getting Startedを参照してください。

🔧 技術詳細

我々はDiffCSEという、文埋め込みを学習するための教師なし対照学習フレームワークを提案します。DiffCSEは、元の文と編集された文の差分に敏感な文埋め込みを学習します。編集された文は、元の文を確率的にマスクし、その後マスク言語モデルからサンプリングすることで得られます。我々は、DiffSCEが等変対照学習 (Dangovski et al., 2021) の一例であることを示しています。これは対照学習を一般化し、特定のタイプの拡張に鈍感で、他の「有害な」タイプの拡張に敏感な表現を学習します。我々の実験では、DiffCSEが教師なし文表現学習方法の中で最先端の結果を達成し、意味的テキスト類似性タスクで教師なしSimCSEを2.3絶対ポイント上回っています。

📄 ライセンス

本プロジェクトはApache-2.0ライセンスの下で公開されています。

引用

@inproceedings{chuang2022diffcse,
   title={{DiffCSE}: Difference-based Contrastive Learning for Sentence Embeddings},
   author={Chuang, Yung-Sung and Dangovski, Rumen and Luo, Hongyin and Zhang, Yang and Chang, Shiyu and Soljacic, Marin and Li, Shang-Wen and Yih, Wen-tau and Kim, Yoon and Glass, James},
   booktitle={Annual Conference of the North American Chapter of the Association for Computational Linguistics (NAACL)},
   year={2022}
}

@inproceedings{gao2021simcse,
   title={{SimCSE}: Simple Contrastive Learning of Sentence Embeddings},
   author={Gao, Tianyu and Yao, Xingcheng and Chen, Danqi},
   booktitle={Empirical Methods in Natural Language Processing (EMNLP)},
   year={2021}
}