Mirror Roberta Base Sentence Drophead

🚀 cambridgeltl/mirror - roberta - base - sentence - drophead

これは教師なし文エンコーダで、Liuら（2021）によって提案されました。特徴空間の拡張にはdropheadを使用し、dropoutではありません。このモデルは、無ラベルの生の文を使用して訓練され、roberta - baseをベースモデルとしています。

🚀 クイックスタート

このモデルは、教師なし文エンコーダで、Liuら（2021）によって提案されました。特徴空間の拡張にはdrophead技術を使用し、従来のdropoutの代わりになります。訓練には無ラベルの生の文が使用され、ベースモデルはroberta - baseです。

✨ 主な機能

• 教師なし学習：無ラベルの生の文を使用して訓練されます。
• 特徴空間の拡張：dropoutの代わりにdropheadを採用し、特徴空間を拡張します。
• roberta - baseをベースとする：成熟した事前学習モデルに基づいて構築されています。

📚 ドキュメント

このモデルは、教師なし文エンコーダで、Liuら（2021）によって提案されました。特徴空間の拡張にはdrophead技術を使用し、従来のdropoutの代わりになります。訓練には無ラベルの生の文が使用され、ベースモデルはroberta - baseです。

注意すべきは、論文で報告されている数値は3回の実行の平均値であるため、このモデルの結果は論文の数値と完全に一致しない場合があります。使用する際には、入力の表現として[CLS]（プーリング器の前）を使用してください。

📄 ライセンス

ドキュメントに関連するライセンス情報は記載されていません。

📖 引用

@inproceedings{
	liu2021fast,
  title={Fast, Effective, and Self-Supervised: Transforming Masked Language Models into Universal Lexical and Sentence Encoders},
  author={Liu, Fangyu and Vuli{\'c}, Ivan and Korhonen, Anna and Collier, Nigel},
  booktitle={EMNLP 2021},
  year={2021}
}