Granite Embedding 278m Multilingual GGUF

🚀 多語言2.78億參數Granite嵌入模型Llamacpp靜態量化版本

本項目提供了granite-embedding-278m-multilingual模型的Llamacpp靜態量化版本，使用特定版本的llama.cpp進行量化處理，支持多種語言，可在LM Studio中運行。

🚀 快速開始

• 使用 llama.cpp 發佈的 b4381 版本進行量化。
• 原始模型地址：https://huggingface.co/ibm-granite/granite-embedding-278m-multilingual
• 可在 LM Studio 中運行這些量化模型。

✨ 主要特性

• 多語言支持：支持英語（en）、阿拉伯語（ar）、捷克語（cs）、德語（de）、西班牙語（es）、法語（fr）、意大利語（it）、日語（ja）、韓語（ko）、荷蘭語（nl）、葡萄牙語（pt）、中文（zh）等多種語言。
• 多種量化類型：提供了多種不同的量化類型，如f16、Q8_0、Q6_K_L等，可根據需求選擇不同的量化文件。
• 在線重打包：部分量化類型支持在線重打包，可根據硬件情況自動優化性能。

📦 安裝指南

安裝huggingface-cli

首先，確保你已經安裝了huggingface-cli：

pip install -U "huggingface_hub[cli]"

下載指定文件

你可以指定要下載的特定文件：

huggingface-cli download bartowski/granite-embedding-278m-multilingual-GGUF --include "granite-embedding-278m-multilingual-Q4_K_M.gguf" --local-dir ./

下載拆分文件

如果模型大於50GB，它會被拆分成多個文件。要將它們全部下載到本地文件夾，請運行：

huggingface-cli download bartowski/granite-embedding-278m-multilingual-GGUF --include "granite-embedding-278m-multilingual-Q8_0/*" --local-dir ./

你可以指定一個新的本地目錄（如granite-embedding-278m-multilingual-Q8_0），或者將它們全部下載到當前目錄（./）。

📚 詳細文檔

提示格式

未找到提示格式，請查看原始模型頁面。

新增內容

修復了分詞器。

下載文件

你可以從以下列表中選擇要下載的文件：

嵌入/輸出權重

部分量化類型（如Q3_K_XL、Q4_K_L等）採用標準量化方法，將嵌入和輸出權重量化為Q8_0，而不是默認值。

ARM/AVX信息

以前，你會下載Q4_0_4_4/4_8/8_8，這些權重會在內存中交錯排列，以提高ARM和AVX機器的性能。現在，有了“在線重打包”功能，詳情見 此PR。如果你使用Q4_0，並且硬件可以從權重重打包中受益，它會自動進行即時處理。

從llama.cpp構建 b4282 開始，你將無法運行Q4_0_X_X文件，而需要使用Q4_0。

此外，如果你想獲得稍好的質量，可以使用IQ4_NL，感謝 此PR，它也會為ARM重新打包權重，不過目前僅支持4_4。加載時間可能會更長，但總體速度會提高。

如何選擇文件

詳細的性能圖表和說明可參考 這裡。

首先，確定你可以運行的模型大小。這需要了解你有多少內存（RAM）和/或顯存（VRAM）。

• 如果你希望模型運行得儘可能快，應將整個模型放入GPU的顯存中。選擇文件大小比GPU總顯存小1 - 2GB的量化文件。
• 如果你追求絕對最高質量，將系統內存和GPU顯存相加，然後選擇文件大小比總內存小1 - 2GB的量化文件。

接下來，你需要決定是使用“I量化”還是“K量化”。

• 如果你不想考慮太多，可以選擇K量化。格式為“QX_K_X”，如Q5_K_M。
• 如果你想深入瞭解，可以查看 llama.cpp特性矩陣。
  • 一般來說，如果你目標是低於Q4的量化，並且使用cuBLAS（Nvidia）或rocBLAS（AMD），可以考慮I量化。格式為IQX_X，如IQ3_M。這些是較新的量化類型，在相同大小下提供更好的性能。
  • I量化也可以在CPU和Apple Metal上使用，但比K量化慢。因此，你需要在速度和性能之間進行權衡。
  • I量化與Vulcan（也是AMD）不兼容。如果你使用AMD顯卡，請仔細檢查你使用的是rocBLAS版本還是Vulcan版本。目前，LM Studio有支持ROCm的預覽版，其他推理引擎也有針對ROCm的特定版本。

🔧 技術細節

模型評估結果

| 任務類型 | 數據集名稱 | 數據集類型 | 配置 | 分割 | NDCG@1 | NDCG@10 | NDCG@100 | NDCG@1000 | NDCG@20 | NDCG@3 | NDCG@5 | Recall@1 | Recall@10 | Recall@100 | Recall@1000 | Recall@20 | Recall@3 | Recall@5 | | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | | 檢索 | Miracl (en) | miracl/mmteb-miracl | en | dev | 0.45557 | 0.49372 | 0.5728 | 0.59187 | 0.52863 | 0.43969 | 0.45551 | 0.21785 | 0.59513 | 0.85785 | 0.96041 | 0.69357 | 0.40403 | 0.48499 | | 檢索 | Miracl (ar) | miracl/mmteb-miracl | ar | dev | 0.57459 | 0.64238 | 0.6867 | 0.6951 | 0.66455 | 0.58162 | 0.60831 | 0.38064 | 0.75098 | 0.91203 | 0.96706 | 0.81978 | 0.58618 | 0.66353 | | 檢索 | Miracl (bn) | miracl/mmteb-miracl | bn | dev | 0.60341 | 0.68055 | 0.72008 | 0.72716 | 0.69914 | 0.60805 | 0.64486 | 0.37948 | 0.80609 | 0.94305 | 0.98625 | 0.86141 | 0.61095 | 0.71316 | | 檢索 | Miracl (de) | miracl/mmteb-miracl | de | dev | 0.45574 | 0.48123 | 0.56049 | 0.57979 | 0.51785 | 0.41243 | 0.4386 | 0.20401 | 0.58779 | 0.8584 | 0.97364 | 0.69061 | 0.36573 | 0.47495 | | 檢索 | Miracl (es) | miracl/mmteb-miracl | es | dev | 0.5571 | 0.49688 | 0.60493 | 0.62922 | 0.54438 | 0.47981 | 0.46584 | 0.1638 | 0.54155 | 0.85136 | 0.96951 | 0.65329 | 0.31503 | 0.40356 | | 檢索 | Miracl (fa) | miracl/mmteb-miracl | fa | dev | 0.39873 | 0.50226 | 0.56517 | 0.57967 | 0.5292 | 0.42738 | 0.45843 | 0.25369 | 0.63776 | 0.87686 | 0.9671 | 0.72099 | 0.43808 | 0.52378 | | 檢索 | Miracl (fi) | miracl/mmteb-miracl | fi | dev | 0.60818 | 0.6746 | 0.71516 | 0.7218 | 0.69692 | 0.6006 | 0.63842 | 0.39264 | 0.78577 | 0.93291 | 0.97493 | 0.85435 | 0.61055 | 0.69774 | | 檢索 | Miracl (fr) | miracl/mmteb-miracl | fr | dev | 0.3965 | 0.49891 | 0.56492 | 0.57837 | 0.53163 | 0.39843 | 0.44416 | 0.22644 | 0.65169 | 0.89786 | 0.98081 | 0.75338 | 0.39798 | 0.51001 | | 檢索 | Miracl (hi) | miracl/mmteb-miracl | hi | dev | 0.36857 | 0.46141 | 0.52565 | 0.54319 | 0.49384 | 0.39469 | 0.4184 | 0.20185 | 0.59474 | 0.83385 | 0.94813 | 0.69437 | 0.38993 | 0.47881 | | 檢索 | Miracl (id) | miracl/mmteb-miracl | id | dev | 0.46354 | 0.47229 | 0.5525 | 0.57648 | 0.50606 | 0.42538 | 0.43717 | 0.20787 | 0.54771 | 0.80689 | 0.94032 | 0.63842 | 0.36229 | 0.44437 | | 檢索 | Miracl (ja) | miracl/mmteb-miracl | ja | dev | 0.56279 | 0.6281 | 0.67757 | 0.68667 | 0.6521 | 0.56226 | 0.5866 | 0.36648 | 0.7496 | 0.92461 | 0.97827 | 0.82326 | 0.55845 | 0.63854 | | 檢索 | Miracl (ko) | miracl/mmteb-miracl | ko | dev | 0.52582 | 0.59216 | 0.65093 | 0.66204 | 0.62427 | 0.5373 | 0.55886 | 0.30521 | 0.71159 | 0.90203 | 0.96714 | 0.80209 | 0.515 | 0.6071 | | 檢索 | Miracl (ru) | miracl/mmteb-miracl | ru | dev | 0.47524 | 0.52349 | 0.59725 | 0.61313 | 0.55669 | 0.46812 | 0.48442 | 0.24337 | 0.62437 | 0.86489 | 0.95266 | 0.71411 | 0.42927 | 0.51258 | | 檢索 | Miracl (sw) | miracl/mmteb-miracl | sw | dev | 0.5166 | 0.61271 | 0.66099 | 0.66867 | 0.63643 | 0.54828 | 0.57382 | 0.35277 | 0.74368 | 0.92261 | 0.97109 | 0.81888 | 0.56739 | 0.6421 | | 檢索 | Miracl (te) | miracl/mmteb-miracl | te | dev | 0.63768 | 0.79193 | 0.80243 | 0.80438 | 0.79549 | 0.76031 | 0.77915 | 0.63084 | 0.92411 | 0.97363 | 0.98833 | 0.9374 | 0.84159 | 0.88627 | | 檢索 | Miracl (th) | miracl/mmteb-miracl | th | dev | 0.66712 | 0.73324 | 0.76633 | 0.77119 | 0.75243 | 0.67393 | 0.70201 | 0.47106 | 0.84294 | 0.95949 | 0.98874 | 0.90085 | 0.68456 | 0.75915 | | 檢索 | Miracl (yo) | miracl/mmteb-miracl | yo | dev | 0.4958 | 0.68705 | 0.70664 | 0.71197 | 0.698 | 0.64793 | 0.66709 | 0.46289 | 0.85154 | 0.93557 | 0.97479 | 0.89076 | 0.7507 | 0.79202 | | 檢索 | Miracl (zh) | miracl/mmteb-miracl | zh | dev | 0.47583 | 0.52553 | 0.6 | 0.61415 | 0.55668 | 0.45839 | 0.48127 | 0.24488 | 0.63659 | 0.89702 | 0.97996 | 0.72652 | 0.42827 | 0.52081 |

📄 許可證

本項目使用Apache 2.0許可證。

致謝

感謝kalomaze和Dampf在創建imatrix校準數據集方面提供的幫助。 感謝ZeroWw在嵌入/輸出實驗方面提供的靈感。

如果你想支持作者的工作，可以訪問作者的ko-fi頁面：https://ko-fi.com/bartowski