Sup Simcse Bert Large Uncased

🚀 baikal-sentiment-ballモデルカード

baikal-sentiment-ballは、特徴抽出タスクに使用できるモデルです。Princeton NLPグループによって開発され、BERTをベースとしています。

🚀 クイックスタート

以下のコードを使用して、モデルを使用することができます。

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("princeton-nlp/sup-simcse-bert-large-uncased")

model = AutoModel.from_pretrained("princeton-nlp/sup-simcse-bert-large-uncased")

✨ 主な機能

• このモデルは、特徴抽出タスクに使用できます。

📦 インストール

インストールに関する具体的な手順は、原ドキュメントに記載されていません。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("princeton-nlp/sup-simcse-bert-large-uncased")

model = AutoModel.from_pretrained("princeton-nlp/sup-simcse-bert-large-uncased")

📚 ドキュメント

モデルの詳細

使用方法

直接使用

このモデルは、特徴抽出タスクに使用できます。

アウトオブスコープの使用

このモデルは、人々に敵対的または疎外感を与える環境を意図的に作り出すために使用してはいけません。

バイアス、リスク、制限事項

言語モデルのバイアスと公平性の問題に関する重要な研究が行われています（例えば、Sheng et al. (2021) と Bender et al. (2021) を参照）。このモデルによって生成された予測には、保護されたクラス、アイデンティティ特性、および敏感な社会的・職業的グループにまたがる有害なステレオタイプが含まれる可能性があります。

推奨事項

ユーザー（直接ユーザーと下流ユーザーの両方）は、このモデルのリスク、バイアス、および制限事項を認識する必要があります。さらなる推奨事項に関する詳細情報は必要です。

トレーニング詳細

トレーニングデータ

モデル作成者は Githubリポジトリ で以下のように述べています。

私たちは、英語版Wikipediaからランダムにサンプリングされた106の文で教師なしSimCSEをトレーニングし、MNLIとSNLIデータセットの組み合わせ（314k）で教師ありSimCSEをトレーニングします。

トレーニング手順

前処理

詳細情報は必要です。

速度、サイズ、時間

詳細情報は必要です。

評価

テストデータ、要因、メトリクス

テストデータ

モデル作成者は 関連論文 で以下のように述べています。

私たちの文埋め込みの評価コードは、SentEval の修正版に基づいています。これは、意味的テキスト類似性（STS）タスクと下流の転移タスクで文埋め込みを評価します。

STSタスクの場合、私たちの評価は「all」設定を採用し、スピアマンの相関係数を報告します。評価の詳細については、関連論文（付録B）を参照してください。

要因

詳細情報は必要です。

メトリクス

詳細情報は必要です。

結果

詳細情報は必要です。

モデル検査

モデル作成者は 関連論文 で以下のように述べています。

均一性とアライメント 私たちはまた、(1) 事前学習された埋め込みは良好なアライメントを持っているが、その均一性は悪い（つまり、埋め込みは高度に異方性である）ことを観察しました。(2) BERT-flowやBERT-whiteningなどの事後処理方法は均一性を大幅に改善するが、アライメントの低下も招きます。(3) 教師なしSimCSEは、事前学習された埋め込みの均一性を効果的に改善しながら、良好なアライメントを維持します。(4) SimCSEに教師ありデータを組み込むことで、アライメントがさらに改善されます。

環境への影響

炭素排出量は、Lacoste et al. (2019) で提示された Machine Learning Impact calculator を使用して推定することができます。

技術仕様

モデルアーキテクチャと目的

詳細情報は必要です。

コンピュートインフラストラクチャ

ハードウェア

詳細情報は必要です。

ソフトウェア

詳細情報は必要です。

引用

BibTeX:

@inproceedings{gao2021simcse,
   title={{SimCSE}: Simple Contrastive Learning of Sentence Embeddings},
   author={Gao, Tianyu and Yao, Xingcheng and Chen, Danqi},
   booktitle={Empirical Methods in Natural Language Processing (EMNLP)},
   year={2021}
}

モデルカード作成者

Princeton NLPグループがEzi OzoaniおよびHugging Faceチームと協力して作成しました。

モデルカードの問い合わせ

コードまたは論文に関する質問がある場合は、Tianyu (tianyug@cs.princeton.edu) とXingcheng (yxc18@mails.tsinghua.edu.cn) にメールを送ってください。コードを使用する際に問題が発生した場合、またはバグを報告したい場合は、イシューを開くことができます。できるだけ問題を詳細に指定していただくと、より良く、より迅速にお手伝いすることができます！