Mini Gte

🚀 Mini-GTE

這是QTACK開發的首個模型，也是我們蒸餾方法的概念驗證之作！Mini-GTE基於DistilBERT架構構建，從GTE模型蒸餾而來，僅6600萬個參數，在保證效率的同時不犧牲準確性。作為獨立的句子轉換器，它在MTEB經典排行榜的參數少於1億的類別中排名第二，總體排名63，是即時查詢編碼、語義搜索和相似度任務的有力選擇。

🚀 快速開始

安裝

Mini-GTE基於Sentence Transformers框架構建。要安裝所需的包，請運行以下命令：

pip install -U sentence-transformers

快速上手

以下是一個快速上手的示例：

from sentence_transformers import SentenceTransformer

# 直接從Hugging Face下載
model = SentenceTransformer("sentence_transformers_model_id")
# 運行推理
sentences = [
    'The weather is lovely today.',
    "It's so sunny outside!",
    'He drove to the stadium.',
]
embeddings = model.encode(sentences)
print(embeddings.shape) # 預期輸出: [3, 768]

# 計算嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape) # 預期輸出: [3, 3]

✨ 主要特性

• 專為快速推理進行優化。
• 能夠快速生成高質量的編碼。
• 由於是從GTE蒸餾而來，易於集成使用。
• 我們很想了解你如何使用我們的模型，如果你與我們通話並展示你用它構建的內容，我們將送你一杯免費咖啡或一張價值10美元的禮品卡！

📦 安裝指南

Mini-GTE依賴於sentence-transformers庫。你可以使用以下命令進行安裝：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 直接從Hugging Face下載
model = SentenceTransformer("sentence_transformers_model_id")
# 運行推理
sentences = [
    'The weather is lovely today.',
    "It's so sunny outside!",
    'He drove to the stadium.',
]
embeddings = model.encode(sentences)
print(embeddings.shape) # 預期輸出: [3, 768]

# 計算嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape) # 預期輸出: [3, 3]

📚 詳細文檔

模型詳情

• 模型類型：句子轉換器
• 基礎模型：distilbert/distilbert-base-uncased
• 最大序列長度：512個標記
• 輸出維度：768維
• 相似度函數：餘弦相似度

訓練詳情

• Python版本：3.10.12
• Sentence Transformers版本：3.3.1
• Transformers版本：4.48.0.dev0
• PyTorch版本：2.1.0a0+32f93b1
• Accelerate版本：1.2.0
• Datasets版本：2.21.0
• Tokenizers版本：0.21.0

🔧 技術細節

該模型基於DistilBERT架構，從GTE模型蒸餾而來，在參數僅為6600萬的情況下，實現了效率和準確性的平衡。作為獨立的句子轉換器，它在MTEB經典排行榜的參數少於1億的類別中排名第二，總體排名63。這使得它在即時查詢編碼、語義搜索和相似度任務中表現出色。

📄 許可證

本項目採用Apache 2.0許可證。

尋求幫助

如有任何問題、建議或遇到問題，請通過我們的聯繫頁面直接聯繫QTACK團隊。