Xiaobu Embedding

🚀 xiaobu-embedding

xiaobu-embedding 模型基于 GTE 模型进行多任务微调。该模型使用了多种类型的数据进行训练，包括闲聊类 Query-Query、知识类 Query-Doc 以及 BGE 开源 Query-Doc，并且对正例数据进行了清洗，挖掘了中等难度的负例，数据累计达 6M，更注重数据质量。

🚀 快速开始

安装依赖

pip install -U sentence-transformers

相似度计算示例

from sentence_transformers import SentenceTransformer
sentences_1 = ["样例数据-1", "样例数据-2"]
sentences_2 = ["样例数据-3", "样例数据-4"]
model = SentenceTransformer('lier007/xiaobu-embedding')
embeddings_1 = model.encode(sentences_1, normalize_embeddings=True)
embeddings_2 = model.encode(sentences_2, normalize_embeddings=True)
similarity = embeddings_1 @ embeddings_2.T
print(similarity)

✨ 主要特性

• 模型基础：基于 GTE 模型[1]进行多任务微调。
• 训练数据：使用闲聊类 Query-Query、知识类 Query-Doc、BGE 开源 Query-Doc[2] 作为训练数据；清洗正例，挖掘中等难度负例；累计 6M 数据，更注重数据质量。

📚 详细文档

评估

参考 BGE 中文 CMTEB 评估[2]。

微调

参考 BGE 微调模块[2]。

📄 评估指标

📄 参考资料

1. https://huggingface.co/thenlper/gte-large-zh
2. https://github.com/FlagOpen/FlagEmbedding