Trans Encoder Bi Simcse Roberta Large

🚀 cambridgeltl/trans-encoder-bi-simcse-roberta-large

Liu et al. (2021)によって提案された教師なし文エンコーダー（バイエンコーダー）です。このモデルは、STS2012 - 2016、STS - b、およびSICK - Rからサンプリングされたラベルなし文ペアを使用して、[princeton - nlp/unsup - simcse - roberta - large](https://huggingface.co/princeton - nlp/unsup - simcse - roberta - large)をベースモデルとして学習されています。入力の表現として[CLS]（プーラーの前）を使用してください。

📚 ドキュメント

モデル概要

このモデルは、教師なし学習による文エンコーダーで、文の類似性を評価するために使用できます。STS2012 - 2016、STS - b、およびSICK - Rのデータセットを用いて学習されており、ベースモデルとしてprinceton - nlp/unsup - simcse - roberta - largeを使用しています。

入力表現

入力の表現として[CLS]（プーラーの前）を使用することが推奨されています。

📄 ライセンス

引用情報

@article{liu2021trans,
  title={Trans-Encoder: Unsupervised sentence-pair modelling through self-and mutual-distillations},
  author={Liu, Fangyu and Jiao, Yunlong and Massiah, Jordan and Yilmaz, Emine and Havrylov, Serhii},
  journal={arXiv preprint arXiv:2109.13059},
  year={2021}
}