Gte Large Gguf

🚀 gte-large-gguf

本項目提供了gte-large嵌入模型的GGUF格式文件，該模型基於BERT框架，在大規模相關文本對上訓練得到，可用於信息檢索、語義文本相似度計算、文本重排序等多種文本嵌入下游任務。

🚀 快速開始

使用llama.cpp計算嵌入

要計算單個嵌入，需先構建llama.cpp，然後運行以下命令：

./embedding -ngl 99 -m [filepath-to-gguf].gguf -p 'search_query: What is TSNE?'

你也可以提交一批文本進行嵌入計算，只要總詞元數不超過上下文長度即可。embedding示例僅顯示前三個嵌入。

texts.txt文件內容如下：

search_query: What is TSNE?
search_query: Who is Laurens Van der Maaten?

計算多個嵌入的命令如下：

./embedding -ngl 99 -m [filepath-to-gguf].gguf -f texts.txt

使用LM Studio計算嵌入

從以下鏈接下載0.2.19測試版： Windows MacOS Linux

安裝完成後，打開應用程序。主界面應如下所示：

在主搜索欄中搜索“ChristianAzinn”，或者點擊左側菜單中的“搜索”標籤進行搜索。

從搜索結果中選擇你的模型（本示例使用bge-small-en-v1.5-gguf），並選擇要下載的量化版本。由於該模型較小，建議選擇Q8_0，若內存充足也可選擇f16/32。通常，列表越靠下（或數字越大），文件越大，性能越好。

模型下載成功後，你將看到一個綠色對勾和“已下載”字樣，下載時間取決於你的網絡速度。

模型下載完成後，點擊左側菜單中的“本地服務器”標籤，打開文本嵌入模型加載器。該加載器在0.2.19版本之前不可用，請確保下載了正確的版本。

從下拉列表中選擇剛下載的模型進行加載。若模型無法完全加載到顯存中，可能需要在右側菜單中調整配置，如GPU卸載。

最後，點擊“啟動服務器”按鈕：

若控制檯顯示如下文本，則表示一切就緒！你可以在任何需要的應用程序中直接使用該模型替代OpenAI嵌入API，也可以直接查詢端點進行測試。

以下是一個向API端點發送請求的示例curl命令：

curl http://localhost:1234/v1/embeddings \
  -H "Content-Type: application/json" \
  -d '{
    "input": "Your text string goes here",
    "model": "model-identifier-here"
  }'

更多信息請參考LM Studio 文本嵌入文檔。

✨ 主要特性

• 多領域適用性：該模型在大規模相關文本對上進行訓練，覆蓋了廣泛的領域和場景，可應用於多種文本嵌入下游任務。
• 多種量化版本：提供了多種量化方法和版本，可根據不同的需求和硬件條件選擇合適的版本。
• 上下文支持：該模型支持最多512個詞元的上下文。

📦 安裝指南

文檔未提及具體安裝步驟，可參考上述快速開始部分使用已有的GGUF格式文件進行計算。

💻 使用示例

基礎用法

使用llama.cpp計算單個嵌入：

./embedding -ngl 99 -m [filepath-to-gguf].gguf -p 'search_query: What is TSNE?'

高級用法

使用llama.cpp計算多個嵌入：

./embedding -ngl 99 -m [filepath-to-gguf].gguf -f texts.txt

使用LM Studio進行文本嵌入計算，包括下載模型、加載模型、啟動服務器和發送API請求等步驟，具體可參考快速開始部分的說明。

📚 詳細文檔

模型信息

原始模型描述

通用文本嵌入（GTE）模型。參考論文 Towards General Text Embeddings with Multi-stage Contrastive Learning。

GTE模型由阿里巴巴達摩院訓練，主要基於BERT框架，目前提供三種不同大小的模型，包括 GTE-large、GTE-base 和 GTE-small。GTE模型在大規模相關文本對語料上進行訓練，覆蓋了廣泛的領域和場景，可應用於各種文本嵌入下游任務，包括信息檢索、語義文本相似度計算、文本重排序等。

本項目描述

本倉庫包含gte-large嵌入模型的GGUF格式文件。這些文件使用llama.cpp PR 5500，提交版本 34aa045de 在消費級RTX 4090上進行轉換和量化。

兼容性

這些文件與截至提交版本 4524290e8 的 llama.cpp 以及版本0.2.19的 LM Studio 兼容。

量化方法說明

提供的文件

🔧 技術細節

本項目使用llama.cpp對gte-large模型進行轉換和量化，具體使用了PR 5500和提交版本34aa045de。在量化過程中，採用了多種量化方法，如Q2_K、Q3_K、Q4_K等，以滿足不同的內存和性能需求。

📄 許可證

本項目採用MIT許可證。

致謝

感謝LM Studio團隊和所有從事開源AI工作的人員。

本README受 nomic-ai-embed-text-v1.5-gguf（另一個優秀的嵌入模型）和傳奇人物 TheBloke 的README啟發。