Simcse Ja Bert Base Clcmlp

🚀 日本語SimCSE (BERT-base)

このモデルは、日本語の文章から文埋め込み表現を簡単に抽出できる、日本語用のSimCSEモデルです。cl-tohoku/bert-base-japanese-v2をベースに、日本語の自然言語推論データセットであるJSNLIを使って学習されています。

🚀 クイックスタート

日本語のREADME

✨ 主な機能

• モデル名: pkshatech/simcse-ja-bert-base-clcmlp
• このモデルは、日本語のSimCSEモデルです。日本語の文章から文埋め込み表現を簡単に抽出できます。
• このモデルは、cl-tohoku/bert-base-japanese-v2をベースに、JSNLIデータセットで学習されています。

📦 インストール

このモデルは、sentence-transformersを使って簡単に利用できます。 トークナイズには、fugashiとunidic-liteが必要です。 以下のように、pipでsentence-transformers、fugashi、unidic-liteをインストールしてください。

pip install -U fugashi[unidic-lite] sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer
sentences = [
    "PKSHA Technologyは機械学習/深層学習技術に関わるアルゴリズムソリューションを展開している。",
    "この深層学習モデルはPKSHA Technologyによって学習され、公開された。",
    "広目天は、仏教における四天王の一尊であり、サンスクリット語の「種々の眼をした者」を名前の由来とする。",
]

model = SentenceTransformer('pkshatech/simcse-ja-bert-base-clcmlp')
embeddings = model.encode(sentences)
print(embeddings)

学習時に使用した損失関数がコサイン類似度であるため、下流タスクではコサイン類似度を使用することをおすすめします。

📚 ドキュメント

トークナイズ

tohoku/bert-base-japanese-v2と同じトークナイザーを使用しています。詳細は、tohoku/bert-base-japanese-v2のREADMEを参照してください。

学習

tohoku/bert-base-japanese-v2を初期値として設定し、JSNLIの学習セットで学習しました。20エポック学習し、JSTSの学習セットの検証セット^1で最も高いスピアマンの相関係数を持つモデルのチェックポイントを公開しました。

学習パラメータ

📄 ライセンス

このモデルは、Creative Commons Attribution-ShareAlike 4.0の条項に基づいて配布されています。