Xiaobu Embedding

🚀 xiaobu-embedding

xiaobu-embedding 模型基於 GTE 模型進行多任務微調。該模型使用了多種類型的數據進行訓練，包括閒聊類 Query-Query、知識類 Query-Doc 以及 BGE 開源 Query-Doc，並且對正例數據進行了清洗，挖掘了中等難度的負例，數據累計達 6M，更注重數據質量。

🚀 快速開始

安裝依賴

pip install -U sentence-transformers

相似度計算示例

from sentence_transformers import SentenceTransformer
sentences_1 = ["樣例數據-1", "樣例數據-2"]
sentences_2 = ["樣例數據-3", "樣例數據-4"]
model = SentenceTransformer('lier007/xiaobu-embedding')
embeddings_1 = model.encode(sentences_1, normalize_embeddings=True)
embeddings_2 = model.encode(sentences_2, normalize_embeddings=True)
similarity = embeddings_1 @ embeddings_2.T
print(similarity)

✨ 主要特性

• 模型基礎：基於 GTE 模型[1]進行多任務微調。
• 訓練數據：使用閒聊類 Query-Query、知識類 Query-Doc、BGE 開源 Query-Doc[2] 作為訓練數據；清洗正例，挖掘中等難度負例；累計 6M 數據，更注重數據質量。

📚 詳細文檔

評估

參考 BGE 中文 CMTEB 評估[2]。

微調

參考 BGE 微調模塊[2]。

📄 評估指標

📄 參考資料

1. https://huggingface.co/thenlper/gte-large-zh
2. https://github.com/FlagOpen/FlagEmbedding