Granite Embedding 278m Multilingual GGUF

🚀 多语言2.78亿参数Granite嵌入模型Llamacpp静态量化版本

本项目提供了granite-embedding-278m-multilingual模型的Llamacpp静态量化版本，使用特定版本的llama.cpp进行量化处理，支持多种语言，可在LM Studio中运行。

🚀 快速开始

• 使用 llama.cpp 发布的 b4381 版本进行量化。
• 原始模型地址：https://huggingface.co/ibm-granite/granite-embedding-278m-multilingual
• 可在 LM Studio 中运行这些量化模型。

✨ 主要特性

• 多语言支持：支持英语（en）、阿拉伯语（ar）、捷克语（cs）、德语（de）、西班牙语（es）、法语（fr）、意大利语（it）、日语（ja）、韩语（ko）、荷兰语（nl）、葡萄牙语（pt）、中文（zh）等多种语言。
• 多种量化类型：提供了多种不同的量化类型，如f16、Q8_0、Q6_K_L等，可根据需求选择不同的量化文件。
• 在线重打包：部分量化类型支持在线重打包，可根据硬件情况自动优化性能。

📦 安装指南

安装huggingface-cli

首先，确保你已经安装了huggingface-cli：

pip install -U "huggingface_hub[cli]"

下载指定文件

你可以指定要下载的特定文件：

huggingface-cli download bartowski/granite-embedding-278m-multilingual-GGUF --include "granite-embedding-278m-multilingual-Q4_K_M.gguf" --local-dir ./

下载拆分文件

如果模型大于50GB，它会被拆分成多个文件。要将它们全部下载到本地文件夹，请运行：

huggingface-cli download bartowski/granite-embedding-278m-multilingual-GGUF --include "granite-embedding-278m-multilingual-Q8_0/*" --local-dir ./

你可以指定一个新的本地目录（如granite-embedding-278m-multilingual-Q8_0），或者将它们全部下载到当前目录（./）。

📚 详细文档

提示格式

未找到提示格式，请查看原始模型页面。

新增内容

修复了分词器。

下载文件

你可以从以下列表中选择要下载的文件：

嵌入/输出权重

部分量化类型（如Q3_K_XL、Q4_K_L等）采用标准量化方法，将嵌入和输出权重量化为Q8_0，而不是默认值。

ARM/AVX信息

以前，你会下载Q4_0_4_4/4_8/8_8，这些权重会在内存中交错排列，以提高ARM和AVX机器的性能。现在，有了“在线重打包”功能，详情见 此PR。如果你使用Q4_0，并且硬件可以从权重重打包中受益，它会自动进行实时处理。

从llama.cpp构建 b4282 开始，你将无法运行Q4_0_X_X文件，而需要使用Q4_0。

此外，如果你想获得稍好的质量，可以使用IQ4_NL，感谢 此PR，它也会为ARM重新打包权重，不过目前仅支持4_4。加载时间可能会更长，但总体速度会提高。

如何选择文件

详细的性能图表和说明可参考 这里。

首先，确定你可以运行的模型大小。这需要了解你有多少内存（RAM）和/或显存（VRAM）。

• 如果你希望模型运行得尽可能快，应将整个模型放入GPU的显存中。选择文件大小比GPU总显存小1 - 2GB的量化文件。
• 如果你追求绝对最高质量，将系统内存和GPU显存相加，然后选择文件大小比总内存小1 - 2GB的量化文件。

接下来，你需要决定是使用“I量化”还是“K量化”。

• 如果你不想考虑太多，可以选择K量化。格式为“QX_K_X”，如Q5_K_M。
• 如果你想深入了解，可以查看 llama.cpp特性矩阵。
  • 一般来说，如果你目标是低于Q4的量化，并且使用cuBLAS（Nvidia）或rocBLAS（AMD），可以考虑I量化。格式为IQX_X，如IQ3_M。这些是较新的量化类型，在相同大小下提供更好的性能。
  • I量化也可以在CPU和Apple Metal上使用，但比K量化慢。因此，你需要在速度和性能之间进行权衡。
  • I量化与Vulcan（也是AMD）不兼容。如果你使用AMD显卡，请仔细检查你使用的是rocBLAS版本还是Vulcan版本。目前，LM Studio有支持ROCm的预览版，其他推理引擎也有针对ROCm的特定版本。

🔧 技术细节

模型评估结果

| 任务类型 | 数据集名称 | 数据集类型 | 配置 | 分割 | NDCG@1 | NDCG@10 | NDCG@100 | NDCG@1000 | NDCG@20 | NDCG@3 | NDCG@5 | Recall@1 | Recall@10 | Recall@100 | Recall@1000 | Recall@20 | Recall@3 | Recall@5 | | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | | 检索 | Miracl (en) | miracl/mmteb-miracl | en | dev | 0.45557 | 0.49372 | 0.5728 | 0.59187 | 0.52863 | 0.43969 | 0.45551 | 0.21785 | 0.59513 | 0.85785 | 0.96041 | 0.69357 | 0.40403 | 0.48499 | | 检索 | Miracl (ar) | miracl/mmteb-miracl | ar | dev | 0.57459 | 0.64238 | 0.6867 | 0.6951 | 0.66455 | 0.58162 | 0.60831 | 0.38064 | 0.75098 | 0.91203 | 0.96706 | 0.81978 | 0.58618 | 0.66353 | | 检索 | Miracl (bn) | miracl/mmteb-miracl | bn | dev | 0.60341 | 0.68055 | 0.72008 | 0.72716 | 0.69914 | 0.60805 | 0.64486 | 0.37948 | 0.80609 | 0.94305 | 0.98625 | 0.86141 | 0.61095 | 0.71316 | | 检索 | Miracl (de) | miracl/mmteb-miracl | de | dev | 0.45574 | 0.48123 | 0.56049 | 0.57979 | 0.51785 | 0.41243 | 0.4386 | 0.20401 | 0.58779 | 0.8584 | 0.97364 | 0.69061 | 0.36573 | 0.47495 | | 检索 | Miracl (es) | miracl/mmteb-miracl | es | dev | 0.5571 | 0.49688 | 0.60493 | 0.62922 | 0.54438 | 0.47981 | 0.46584 | 0.1638 | 0.54155 | 0.85136 | 0.96951 | 0.65329 | 0.31503 | 0.40356 | | 检索 | Miracl (fa) | miracl/mmteb-miracl | fa | dev | 0.39873 | 0.50226 | 0.56517 | 0.57967 | 0.5292 | 0.42738 | 0.45843 | 0.25369 | 0.63776 | 0.87686 | 0.9671 | 0.72099 | 0.43808 | 0.52378 | | 检索 | Miracl (fi) | miracl/mmteb-miracl | fi | dev | 0.60818 | 0.6746 | 0.71516 | 0.7218 | 0.69692 | 0.6006 | 0.63842 | 0.39264 | 0.78577 | 0.93291 | 0.97493 | 0.85435 | 0.61055 | 0.69774 | | 检索 | Miracl (fr) | miracl/mmteb-miracl | fr | dev | 0.3965 | 0.49891 | 0.56492 | 0.57837 | 0.53163 | 0.39843 | 0.44416 | 0.22644 | 0.65169 | 0.89786 | 0.98081 | 0.75338 | 0.39798 | 0.51001 | | 检索 | Miracl (hi) | miracl/mmteb-miracl | hi | dev | 0.36857 | 0.46141 | 0.52565 | 0.54319 | 0.49384 | 0.39469 | 0.4184 | 0.20185 | 0.59474 | 0.83385 | 0.94813 | 0.69437 | 0.38993 | 0.47881 | | 检索 | Miracl (id) | miracl/mmteb-miracl | id | dev | 0.46354 | 0.47229 | 0.5525 | 0.57648 | 0.50606 | 0.42538 | 0.43717 | 0.20787 | 0.54771 | 0.80689 | 0.94032 | 0.63842 | 0.36229 | 0.44437 | | 检索 | Miracl (ja) | miracl/mmteb-miracl | ja | dev | 0.56279 | 0.6281 | 0.67757 | 0.68667 | 0.6521 | 0.56226 | 0.5866 | 0.36648 | 0.7496 | 0.92461 | 0.97827 | 0.82326 | 0.55845 | 0.63854 | | 检索 | Miracl (ko) | miracl/mmteb-miracl | ko | dev | 0.52582 | 0.59216 | 0.65093 | 0.66204 | 0.62427 | 0.5373 | 0.55886 | 0.30521 | 0.71159 | 0.90203 | 0.96714 | 0.80209 | 0.515 | 0.6071 | | 检索 | Miracl (ru) | miracl/mmteb-miracl | ru | dev | 0.47524 | 0.52349 | 0.59725 | 0.61313 | 0.55669 | 0.46812 | 0.48442 | 0.24337 | 0.62437 | 0.86489 | 0.95266 | 0.71411 | 0.42927 | 0.51258 | | 检索 | Miracl (sw) | miracl/mmteb-miracl | sw | dev | 0.5166 | 0.61271 | 0.66099 | 0.66867 | 0.63643 | 0.54828 | 0.57382 | 0.35277 | 0.74368 | 0.92261 | 0.97109 | 0.81888 | 0.56739 | 0.6421 | | 检索 | Miracl (te) | miracl/mmteb-miracl | te | dev | 0.63768 | 0.79193 | 0.80243 | 0.80438 | 0.79549 | 0.76031 | 0.77915 | 0.63084 | 0.92411 | 0.97363 | 0.98833 | 0.9374 | 0.84159 | 0.88627 | | 检索 | Miracl (th) | miracl/mmteb-miracl | th | dev | 0.66712 | 0.73324 | 0.76633 | 0.77119 | 0.75243 | 0.67393 | 0.70201 | 0.47106 | 0.84294 | 0.95949 | 0.98874 | 0.90085 | 0.68456 | 0.75915 | | 检索 | Miracl (yo) | miracl/mmteb-miracl | yo | dev | 0.4958 | 0.68705 | 0.70664 | 0.71197 | 0.698 | 0.64793 | 0.66709 | 0.46289 | 0.85154 | 0.93557 | 0.97479 | 0.89076 | 0.7507 | 0.79202 | | 检索 | Miracl (zh) | miracl/mmteb-miracl | zh | dev | 0.47583 | 0.52553 | 0.6 | 0.61415 | 0.55668 | 0.45839 | 0.48127 | 0.24488 | 0.63659 | 0.89702 | 0.97996 | 0.72652 | 0.42827 | 0.52081 |

📄 许可证

本项目使用Apache 2.0许可证。

致谢

感谢kalomaze和Dampf在创建imatrix校准数据集方面提供的帮助。 感谢ZeroWw在嵌入/输出实验方面提供的灵感。

如果你想支持作者的工作，可以访问作者的ko-fi页面：https://ko-fi.com/bartowski