Glucose Base Ja V2

🚀 GLuCoSE v2

GLuCoSE v2是一款通用的日語文本嵌入模型，在檢索任務中表現出色。它可以在CPU上運行，主要用於測量句子之間的語義相似度，也可作為檢索系統，根據查詢內容搜索相關段落。

🚀 快速開始

本模型基於GLuCoSE，通過蒸餾幾個大規模嵌入模型並結合多階段對比學習進行微調。以下是使用該模型的詳細信息：

• 最大序列長度：512個詞元
• 輸出維度：768個詞元
• 相似度函數：餘弦相似度

推理時，輸入文本需以 "query: " 或 "passage: " 開頭，具體使用方法請查看後續使用示例部分。

✨ 主要特性

• 專注檢索任務：在MIRACL等任務中，與同規模模型相比，表現卓越。
• 優化日語處理：針對日語文本處理進行了優化。
• 支持CPU運行：可在CPU上運行。

📦 安裝指南

文檔未提及安裝步驟，故跳過該章節。

💻 使用示例

基礎用法

你可以使用SentenceTransformer進行推理，代碼如下：

from sentence_transformers import SentenceTransformer
import torch.nn.functional as F

# Download from the 🤗 Hub
model = SentenceTransformer("pkshatech/GLuCoSE-base-ja-v2")

# Each input text should start with "query: " or "passage: ".
# For tasks other than retrieval, you can simply use the "query: " prefix.
sentences = [
    'query: PKSHAはどんな會社ですか？',
    'passage: 研究開発したアルゴリズムを、多くの企業のソフトウエア・オペレーションに導入しています。',
    'query: 日本で一番高い山は？',
    'passage: 富士山（ふじさん）は、標高3776.12 m、日本最高峰（剣ヶ峰）の獨立峰で、その優美な風貌は日本國外でも日本の象徴として広く知られている。',
]
embeddings = model.encode(sentences,convert_to_tensor=True)
print(embeddings.shape)
# [4, 768]

# Get the similarity scores for the embeddings
similarities = F.cosine_similarity(embeddings.unsqueeze(0), embeddings.unsqueeze(1), dim=2)
print(similarities)
# [[1.0000, 0.6050, 0.4341, 0.5537],
# [0.6050, 1.0000, 0.5018, 0.6815],
# [0.4341, 0.5018, 1.0000, 0.7534],
# [0.5537, 0.6815, 0.7534, 1.0000]]

高級用法

你也可以使用Transformers進行推理，代碼如下：

import torch.nn.functional as F
from torch import Tensor
from transformers import AutoTokenizer, AutoModel

def mean_pooling(last_hidden_states: Tensor,attention_mask: Tensor) -> Tensor:
    emb = last_hidden_states * attention_mask.unsqueeze(-1)
    emb = emb.sum(dim=1) / attention_mask.sum(dim=1).unsqueeze(-1)
    return emb

# Download from the 🤗 Hub
tokenizer = AutoTokenizer.from_pretrained("pkshatech/GLuCoSE-base-ja-v2")
model = AutoModel.from_pretrained("pkshatech/GLuCoSE-base-ja-v2")

# Each input text should start with "query: " or "passage: ".
# For tasks other than retrieval, you can simply use the "query: " prefix.
sentences = [
    'query: PKSHAはどんな會社ですか？',
    'passage: 研究開発したアルゴリズムを、多くの企業のソフトウエア・オペレーションに導入しています。',
    'query: 日本で一番高い山は？',
    'passage: 富士山（ふじさん）は、標高3776.12 m、日本最高峰（剣ヶ峰）の獨立峰で、その優美な風貌は日本國外でも日本の象徴として広く知られている。',
]

# Tokenize the input texts
batch_dict = tokenizer(sentences, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = mean_pooling(outputs.last_hidden_state, batch_dict['attention_mask'])
print(embeddings.shape)
# [4, 768]

# Get the similarity scores for the embeddings
similarities = F.cosine_similarity(embeddings.unsqueeze(0), embeddings.unsqueeze(1), dim=2)
print(similarities)
# [[1.0000, 0.6050, 0.4341, 0.5537],
# [0.6050, 1.0000, 0.5018, 0.6815],
# [0.4341, 0.5018, 1.0000, 0.7534],
# [0.5537, 0.6815, 0.7534, 1.0000]]

📚 詳細文檔

訓練詳情

GLuCoSE v2的微調通過以下步驟完成：

1. 集成蒸餾：使用E5-mistral、gte-Qwen2和mE5-large作為教師模型，對嵌入表示進行蒸餾。
2. 對比學習：從JSNLI、MNLI、PAWS-X、JSeM和Mr.TyDi創建三元組進行訓練，以提升句子嵌入模型的整體性能。
3. 特定搜索對比學習：為使模型在檢索任務中更穩健，進行了額外的兩階段訓練，分別使用QA和檢索任務數據。第一階段使用合成數據集auto-wiki-qa，第二階段使用JQaRA、MQA、Japanese Wikipedia Human Retrieval, Mr.TyDi,MIRACL, Quiz Works and Quiz No Mor等。

基準測試

檢索任務

使用MIRACL-ja、JQARA、JaCWIR和MLDR-ja進行評估，結果如下：

注：JQARA和JaCWIR中OpenAI小型嵌入的結果引自JQARA和JaCWIR。

JMTEB測試

使用JMTEB進行評估，平均得分採用宏平均。結果如下：

注：OpenAI嵌入和multilingual-e5模型的結果引自JMTEB排行榜，ruri的結果引自cl-nagoya/ruri-base模型卡片。

🔧 技術細節

文檔未提供足夠的技術細節描述，故跳過該章節。

📄 許可證

本模型根據Apache許可證2.0版發佈。

作者

Chihiro Yano, Mocho Go, Hideyuki Tachibana, Hiroto Takegawa, Yotaro Watanabe