Mxbai Embed Large V1 Gguf

🚀 mxbai-embed-large-v1-gguf

本项目提供了 mxbai-embed-large-v1 模型的 GGUF 格式文件，可用于特征提取，在 BERT 大规模模型上实现了 SOTA 性能。

🚀 快速开始

与 llama.cpp 结合使用示例

若要计算单个嵌入向量，需先构建 llama.cpp 并运行以下命令：

./embedding -ngl 99 -m [filepath-to-gguf].gguf -p 'search_query: What is TSNE?'

你也可以提交一批文本进行嵌入处理，只要总令牌数不超过上下文长度即可。embedding 示例仅展示前三个嵌入向量。

texts.txt 文件内容如下：

search_query: What is TSNE?
search_query: Who is Laurens Van der Maaten?

计算多个嵌入向量的命令如下：

./embedding -ngl 99 -m [filepath-to-gguf].gguf -f texts.txt

与 LM Studio 结合使用示例

从以下链接下载 0.2.19 测试版：Windows MacOS Linux

安装完成后，打开应用程序。主界面应如下所示：

在主搜索栏中搜索 “ChristianAzinn”，或者点击左侧菜单中的 “搜索” 标签进行搜索。

从搜索结果中选择你的模型（本示例使用 bge-small-en-v1.5-gguf），并选择要下载的量化版本。由于该模型较小，建议选择 Q8_0，若条件允许也可选择 f16/32。通常，列表越靠下（或数字越大），文件越大，性能越好。

模型下载成功后，你将看到绿色对勾和 “已下载” 字样，下载时间取决于你的网络速度。

模型下载完成后，点击左侧菜单中的 “本地服务器” 标签，打开文本嵌入模型加载器。该加载器在 0.2.19 版本之前不可用，请确保下载的是正确版本。

从下拉列表中选择刚刚下载的模型进行加载。若模型无法完全加载到显存中，你可能需要在右侧菜单中调整配置，如 GPU 卸载。

最后，点击 “启动服务器” 按钮：

若在控制台看到如下文本，则表示一切就绪！你可以在任何需要的应用程序中直接替换 OpenAI 嵌入 API 使用该模型，也可以直接查询端点进行测试。

以下是一个向 API 端点发送的示例 curl 请求：

curl http://localhost:1234/v1/embeddings \
  -H "Content-Type: application/json" \
  -d '{
    "input": "Your text string goes here",
    "model": "model-identifier-here"
  }'

更多信息请参考 LM Studio 文本嵌入文档。

✨ 主要特性

• 高性能：基于 AnglE 损失函数在高质量大规模数据上训练，在 BERT 大规模模型上实现了 SOTA 性能。
• 多兼容性：支持 llama.cpp 和 LM Studio。

📚 详细文档

原始模型描述

这是我们的基础句子嵌入模型，它使用 AnglE 损失函数在高质量大规模数据上进行训练，在 BERT 大规模模型上取得了 SOTA 性能。更多信息请查看我们的 博客文章。

本仓库描述

本仓库包含 mxbai-embed-large-v1 嵌入模型的 GGUF 格式文件。

这些文件是使用 llama.cpp PR 5500，提交记录为 34aa045de，在消费级 RTX 4090 上进行转换和量化的。

该模型支持最多 512 个令牌的上下文。

兼容性

这些文件与截至提交记录 4524290e8 的 llama.cpp 兼容，也与版本 0.2.19 的 LM Studio 兼容。

量化方法说明

提供的文件

📄 许可证

本模型采用 Apache-2.0 许可证。

致谢

感谢 LM Studio 团队以及所有从事开源 AI 工作的人员。

本 README 受 nomic-ai-embed-text-v1.5-GGUF（另一个优秀的嵌入模型）和传奇的 TheBloke 的 README 启发。

模型元信息