Dmeta Embedding Zh

🚀 Dmeta-embedding

Dmeta-embedding 是一個跨領域、跨任務、開箱即用的中文嵌入模型，適用於搜索引擎、問答、智能客服、LLM+RAG 等多種場景。它支持使用 Transformers、Sentence-Transformers、Langchain 等工具進行推理。

🚀 快速開始

Dmeta-embedding 模型支持通過 Sentence-Transformers、Langchain、Huggingface Transformers 等框架進行推理。具體使用方法請參考以下示例。

Sentence-Transformers

通過 sentence-transformers 加載並推理 Dmeta-embedding，操作如下：

pip install -U sentence-transformers

from sentence_transformers import SentenceTransformer

texts1 = ["鬍子長得太快怎麼辦？", "在香港哪裡買手錶好"]
texts2 = ["鬍子長得快怎麼辦？", "怎樣使鬍子不濃密！", "香港買手錶哪裡好", "在杭州手機到哪裡買"]

model = SentenceTransformer('DMetaSoul/Dmeta-embedding')
embs1 = model.encode(texts1, normalize_embeddings=True)
embs2 = model.encode(texts2, normalize_embeddings=True)

similarity = embs1 @ embs2.T
print(similarity)

for i in range(len(texts1)):
    scores = []
    for j in range(len(texts2)):
        scores.append([texts2[j], similarity[i][j]])
    scores = sorted(scores, key=lambda x:x[1], reverse=True)

    print(f"查詢文本：{texts1[i]}")
    for text2, score in scores:
        print(f"相似文本：{text2}，打分：{score}")
    print()

輸出結果：

查詢文本：鬍子長得太快怎麼辦？
相似文本：鬍子長得快怎麼辦？，打分：0.9535336494445801
相似文本：怎樣使鬍子不濃密！，打分：0.6776421070098877
相似文本：香港買手錶哪裡好，打分：0.2297907918691635
相似文本：在杭州手機到哪裡買，打分：0.11386542022228241

查詢文本：在香港哪裡買手錶好
相似文本：香港買手錶哪裡好，打分：0.9843372106552124
相似文本：在杭州手機到哪裡買，打分：0.45211508870124817
相似文本：鬍子長得快怎麼辦？，打分：0.19985519349575043
相似文本：怎樣使鬍子不濃密！，打分：0.18558596074581146

Langchain

通過 langchain 加載並推理 Dmeta-embedding，操作如下：

pip install -U langchain

import torch
import numpy as np
from langchain.embeddings import HuggingFaceEmbeddings

model_name = "DMetaSoul/Dmeta-embedding"
model_kwargs = {'device': 'cuda' if torch.cuda.is_available() else 'cpu'}
encode_kwargs = {'normalize_embeddings': True} # set True to compute cosine similarity

model = HuggingFaceEmbeddings(
    model_name=model_name,
    model_kwargs=model_kwargs,
    encode_kwargs=encode_kwargs,
)

texts1 = ["鬍子長得太快怎麼辦？", "在香港哪裡買手錶好"]
texts2 = ["鬍子長得快怎麼辦？", "怎樣使鬍子不濃密！", "香港買手錶哪裡好", "在杭州手機到哪裡買"]

embs1 = model.embed_documents(texts1)
embs2 = model.embed_documents(texts2)
embs1, embs2 = np.array(embs1), np.array(embs2)

similarity = embs1 @ embs2.T
print(similarity)

for i in range(len(texts1)):
    scores = []
    for j in range(len(texts2)):
        scores.append([texts2[j], similarity[i][j]])
    scores = sorted(scores, key=lambda x:x[1], reverse=True)

    print(f"查詢文本：{texts1[i]}")
    for text2, score in scores:
        print(f"相似文本：{text2}，打分：{score}")
    print()

HuggingFace Transformers

通過 HuggingFace Transformers 加載並推理 Dmeta-embedding，操作如下：

pip install -U transformers

import torch
from transformers import AutoTokenizer, AutoModel


def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] #First element of model_output contains all token embeddings
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

def cls_pooling(model_output):
    return model_output[0][:, 0]


texts1 = ["鬍子長得太快怎麼辦？", "在香港哪裡買手錶好"]
texts2 = ["鬍子長得快怎麼辦？", "怎樣使鬍子不濃密！", "香港買手錶哪裡好", "在杭州手機到哪裡買"]

tokenizer = AutoTokenizer.from_pretrained('DMetaSoul/Dmeta-embedding')
model = AutoModel.from_pretrained('DMetaSoul/Dmeta-embedding')
model.eval()

with torch.no_grad():
    inputs1 = tokenizer(texts1, padding=True, truncation=True, return_tensors='pt')
    inputs2 = tokenizer(texts2, padding=True, truncation=True, return_tensors='pt')

    model_output1 = model(**inputs1)
    model_output2 = model(**inputs2)
    embs1, embs2 = cls_pooling(model_output1), cls_pooling(model_output2)
    embs1 = torch.nn.functional.normalize(embs1, p=2, dim=1).numpy()
    embs2 = torch.nn.functional.normalize(embs2, p=2, dim=1).numpy()


similarity = embs1 @ embs2.T
print(similarity)

for i in range(len(texts1)):
    scores = []
    for j in range(len(texts2)):
        scores.append([texts2[j], similarity[i][j]])
    scores = sorted(scores, key=lambda x:x[1], reverse=True)

    print(f"查詢文本：{texts1[i]}")
    for text2, score in scores:
        print(f"相似文本：{text2}，打分：{score}")
    print()

✨ 主要特性

• 出色的跨領域和場景泛化性能：目前在 MTEB 中文排行榜 上排名第二（截至 2024.01.25）。
• 低推理成本：模型參數大小僅為 400MB，可大幅降低推理成本。
• 長文本處理能力：上下文窗口長度可達 1024，更適合長文本檢索、RAG 等場景。

📚 詳細文檔

評估

Dmeta-embedding 模型在 MTEB 中文排行榜 上的開源模型中排名第一（截至 2024.01.25，百川模型未開源，排名第一）。具體評估數據和代碼請參考 MTEB 官方倉庫。

MTEB 中文評估： 中文排行榜數據集 由北京智源人工智能研究院（BAAI）收集，包含 6 個經典任務和 35 箇中文數據集，涵蓋分類、檢索、重排序、句子對分類、語義文本相似度（STS）等任務，是目前最全面的 Embedding 模型能力評估的權威基準。

常見問題解答

📄 許可證

Dmeta-embedding 採用 Apache-2.0 許可證，發佈的模型可免費用於商業目的。