Simcse Ja Bert Base Clcmlp

🚀 日本語SimCSE (BERT-base)

本項目是一個日語SimCSE模型，可輕鬆從日語句子中提取句子嵌入表示，為自然語言處理任務提供有力支持。

🚀 快速開始

本模型是日語 SimCSE 模型，模型名稱為 pkshatech/simcse-ja-bert-base-clcmlp。它基於 cl-tohoku/bert-base-japanese-v2 構建，並在 JSNLI 數據集（一個日語自然語言推理數據集）上進行訓練。

✨ 主要特性

• 能夠輕鬆從日語句子中提取句子嵌入表示。
• 基於成熟的 cl-tohoku/bert-base-japanese-v2 模型。
• 在日語自然語言推理數據集 JSNLI 上訓練，具有良好的性能。

📦 安裝指南

你可以使用 sentence-transformers 輕鬆使用此模型。分詞需要 fugashi 和 unidic-lite。請使用 pip 安裝 sentence-transformers、fugashi 和 unidic-lite，命令如下：

pip install -U fugashi[unidic-lite] sentence-transformers

💻 使用示例

基礎用法

你可以按以下方式加載模型並將句子轉換為密集向量：

from sentence_transformers import SentenceTransformer
sentences = [
    "PKSHA Technologyは機械學習/深層學習技術に関わるアルゴリズムソリューションを展開している。",
    "この深層學習モデルはPKSHA Technologyによって學習され、公開された。",
    "広目天は、仏教における四天王の一尊であり、サンスクリット語の「種々の眼をした者」を名前の由來とする。",
]

model = SentenceTransformer('pkshatech/simcse-ja-bert-base-clcmlp')
embeddings = model.encode(sentences)
print(embeddings)

由於訓練期間使用的損失函數是餘弦相似度，因此我們建議在下游任務中使用餘弦相似度。

📚 詳細文檔

分詞

我們使用與 tohoku/bert-base-japanese-v2 相同的分詞器。詳情請參閱 tohoku/bert-base-japanese-v2 的 README。

訓練

我們將 tohoku/bert-base-japanese-v2 設為初始值，並在 JSNLI 的訓練集上進行訓練。訓練了 20 個 epoch，併發布了在 JSTS 訓練集的驗證集 [^1] 上具有最高 Spearman 相關係數的模型檢查點。

訓練參數

📄 許可證

本模型根據 知識共享署名 - 相同方式共享 4.0 許可條款分發。

[^1]: 訓練此模型時，JGLUE 的測試數據尚未發佈，因此我們使用 JGLUE 的開發集作為私有評估數據。因此，我們在 JGLUE 的訓練集而不是其開發集上選擇了檢查點。