Glucose Base Ja

🚀 GLuCoSE (General Luke-based Contrastive Sentence Embedding)-base-Japanese

GLuCoSE（General LUke-based COntrastive Sentence Embedding、「グルコース」）は、LUKEに基づく日本語のテキスト埋め込みモデルです。汎用的で使いやすい日本語テキスト埋め込みモデルを作成するために、GLuCoSEはウェブデータと自然言語推論や検索に関連するさまざまなデータセットを組み合わせて学習されています。このモデルは、文ベクトルの類似度タスクだけでなく、意味検索タスクにも適しています。

• 最大トークン数: 512
• 出力次元: 768
• プーリング: 平均プーリング
• サポート言語: 日本語

🚀 クイックスタート

このモデルは、sentence-transformersを使って簡単に利用できます。

インストール

まず、以下のコマンドでsentence-transformersをpipでインストールします。

pip install -U sentence-transformers

使用例

以下のように、モデルをロードして文を密ベクトルに変換することができます。

基本的な使用法

from sentence_transformers import SentenceTransformer
sentences = [
    "PKSHA Technologyは機械学習/深層学習技術に関わるアルゴリズムソリューションを展開している。",
    "この深層学習モデルはPKSHA Technologyによって学習され、公開された。",
    "広目天は、仏教における四天王の一尊であり、サンスクリット語の「種々の眼をした者」を名前の由来とする。",
]

model = SentenceTransformer('pkshatech/GLuCoSE-base-ja')
embeddings = model.encode(sentences)
print(embeddings)

学習時に使用される損失関数はコサイン類似度なので、下流タスクでもコサイン類似度を使用することをおすすめします。

このテキスト埋め込みモデルは、LangChainでも使用できます。詳細はこのページを参照してください。

🔧 技術詳細

使用されたリソース

このモデルの学習には、以下のリソースが使用されています。

事前学習モデル

• studio-ousia/luke-japanese-base-lite

データセット

• mC4
• MQA
• JNLI
• JSNLI
• PAWS-X
• JSeM
• MoritzLaurer/multilingual-NLI-26lang-2mil7
  • MultiNLI
  • WANLI
  • FeverNLI
  • LingNLI
• JSICK
• Mr.Tidy
• JSTS (検証に使用) ^1

ベンチマーク

意味的類似度計算 (JSTS 開発セット)

スピアマンの相関係数とピアソンの相関係数による評価です。

ゼロショット検索 (AIO3 開発セット)

トップk検索精度[^4]（トップkの検索結果に正解が少なくとも1回含まれる質問の割合）による評価です。

📄 ライセンス

このモデルは、Apache License, Version 2.0の下で公開されています。

著者

Akihiko Fukuchi、Yuichiro Hoshino、Yotarow Watanabe

[^4]: 詳細については、https://arxiv.org/pdf/2004.04906.pdf を参照してください。