Glucose Base Ja V2

🚀 GLuCoSE v2

GLuCoSE v2是一款通用的日语文本嵌入模型，在检索任务中表现出色。它可以在CPU上运行，主要用于测量句子之间的语义相似度，也可作为检索系统，根据查询内容搜索相关段落。

🚀 快速开始

本模型基于GLuCoSE，通过蒸馏几个大规模嵌入模型并结合多阶段对比学习进行微调。以下是使用该模型的详细信息：

• 最大序列长度：512个词元
• 输出维度：768个词元
• 相似度函数：余弦相似度

推理时，输入文本需以 "query: " 或 "passage: " 开头，具体使用方法请查看后续使用示例部分。

✨ 主要特性

• 专注检索任务：在MIRACL等任务中，与同规模模型相比，表现卓越。
• 优化日语处理：针对日语文本处理进行了优化。
• 支持CPU运行：可在CPU上运行。

📦 安装指南

文档未提及安装步骤，故跳过该章节。

💻 使用示例

基础用法

你可以使用SentenceTransformer进行推理，代码如下：

from sentence_transformers import SentenceTransformer
import torch.nn.functional as F

# Download from the 🤗 Hub
model = SentenceTransformer("pkshatech/GLuCoSE-base-ja-v2")

# Each input text should start with "query: " or "passage: ".
# For tasks other than retrieval, you can simply use the "query: " prefix.
sentences = [
    'query: PKSHAはどんな会社ですか？',
    'passage: 研究開発したアルゴリズムを、多くの企業のソフトウエア・オペレーションに導入しています。',
    'query: 日本で一番高い山は？',
    'passage: 富士山（ふじさん）は、標高3776.12 m、日本最高峰（剣ヶ峰）の独立峰で、その優美な風貌は日本国外でも日本の象徴として広く知られている。',
]
embeddings = model.encode(sentences,convert_to_tensor=True)
print(embeddings.shape)
# [4, 768]

# Get the similarity scores for the embeddings
similarities = F.cosine_similarity(embeddings.unsqueeze(0), embeddings.unsqueeze(1), dim=2)
print(similarities)
# [[1.0000, 0.6050, 0.4341, 0.5537],
# [0.6050, 1.0000, 0.5018, 0.6815],
# [0.4341, 0.5018, 1.0000, 0.7534],
# [0.5537, 0.6815, 0.7534, 1.0000]]

高级用法

你也可以使用Transformers进行推理，代码如下：

import torch.nn.functional as F
from torch import Tensor
from transformers import AutoTokenizer, AutoModel

def mean_pooling(last_hidden_states: Tensor,attention_mask: Tensor) -> Tensor:
    emb = last_hidden_states * attention_mask.unsqueeze(-1)
    emb = emb.sum(dim=1) / attention_mask.sum(dim=1).unsqueeze(-1)
    return emb

# Download from the 🤗 Hub
tokenizer = AutoTokenizer.from_pretrained("pkshatech/GLuCoSE-base-ja-v2")
model = AutoModel.from_pretrained("pkshatech/GLuCoSE-base-ja-v2")

# Each input text should start with "query: " or "passage: ".
# For tasks other than retrieval, you can simply use the "query: " prefix.
sentences = [
    'query: PKSHAはどんな会社ですか？',
    'passage: 研究開発したアルゴリズムを、多くの企業のソフトウエア・オペレーションに導入しています。',
    'query: 日本で一番高い山は？',
    'passage: 富士山（ふじさん）は、標高3776.12 m、日本最高峰（剣ヶ峰）の独立峰で、その優美な風貌は日本国外でも日本の象徴として広く知られている。',
]

# Tokenize the input texts
batch_dict = tokenizer(sentences, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = mean_pooling(outputs.last_hidden_state, batch_dict['attention_mask'])
print(embeddings.shape)
# [4, 768]

# Get the similarity scores for the embeddings
similarities = F.cosine_similarity(embeddings.unsqueeze(0), embeddings.unsqueeze(1), dim=2)
print(similarities)
# [[1.0000, 0.6050, 0.4341, 0.5537],
# [0.6050, 1.0000, 0.5018, 0.6815],
# [0.4341, 0.5018, 1.0000, 0.7534],
# [0.5537, 0.6815, 0.7534, 1.0000]]

📚 详细文档

训练详情

GLuCoSE v2的微调通过以下步骤完成：

1. 集成蒸馏：使用E5-mistral、gte-Qwen2和mE5-large作为教师模型，对嵌入表示进行蒸馏。
2. 对比学习：从JSNLI、MNLI、PAWS-X、JSeM和Mr.TyDi创建三元组进行训练，以提升句子嵌入模型的整体性能。
3. 特定搜索对比学习：为使模型在检索任务中更稳健，进行了额外的两阶段训练，分别使用QA和检索任务数据。第一阶段使用合成数据集auto-wiki-qa，第二阶段使用JQaRA、MQA、Japanese Wikipedia Human Retrieval, Mr.TyDi,MIRACL, Quiz Works and Quiz No Mor等。

基准测试

检索任务

使用MIRACL-ja、JQARA、JaCWIR和MLDR-ja进行评估，结果如下：

注：JQARA和JaCWIR中OpenAI小型嵌入的结果引自JQARA和JaCWIR。

JMTEB测试

使用JMTEB进行评估，平均得分采用宏平均。结果如下：

注：OpenAI嵌入和multilingual-e5模型的结果引自JMTEB排行榜，ruri的结果引自cl-nagoya/ruri-base模型卡片。

🔧 技术细节

文档未提供足够的技术细节描述，故跳过该章节。

📄 许可证

本模型根据Apache许可证2.0版发布。

作者

Chihiro Yano, Mocho Go, Hideyuki Tachibana, Hiroto Takegawa, Yotaro Watanabe