Mirror Roberta Base Sentence Drophead

🚀 cambridgeltl/mirror - roberta - base - sentence - drophead

這是一個無監督句子編碼器，由Liu等人（2021）提出，使用drophead而非dropout進行特徵空間增強。該模型使用無標籤的原始句子進行訓練，以roberta - base為基礎模型。

✨ 主要特性

• 無監督學習：使用無標籤的原始句子進行訓練。
• 特徵空間增強：採用drophead代替dropout，增強特徵空間。
• 以roberta - base為基礎：基於成熟的預訓練模型構建。

📚 詳細文檔

該模型是一個無監督句子編碼器，由Liu等人（2021）提出。它使用drophead技術來代替傳統的dropout進行特徵空間增強。訓練時使用的是無標籤的原始句子，基礎模型為roberta - base。

需要注意的是，由於論文中報告的數值是三次運行的平均值，因此該模型的結果可能與論文中的數值不完全一致。在使用時，請使用[CLS]（池化器之前）作為輸入的表示。

📄 許可證

文檔中未提及相關許可證信息。

📖 引用

@inproceedings{
	liu2021fast,
  title={Fast, Effective, and Self-Supervised: Transforming Masked Language Models into Universal Lexical and Sentence Encoders},
  author={Liu, Fangyu and Vuli{\'c}, Ivan and Korhonen, Anna and Collier, Nigel},
  booktitle={EMNLP 2021},
  year={2021}
}