Granite Embedding 107m Multilingual GGUF

🚀 多語言107M嵌入模型granite量化版本

該項目提供了granite-embedding-107m-multilingual模型的靜態量化版本，藉助llama.cpp進行量化處理，可在LM Studio中運行，支持多種語言。

🚀 快速開始

使用 llama.cpp 發佈的 b4381 版本進行量化。 原始模型地址：https://huggingface.co/ibm-granite/granite-embedding-107m-multilingual 可在 LM Studio 中運行這些量化模型。

✨ 主要特性

• 多語言支持：支持英語、阿拉伯語、捷克語等多種語言。
• 多種量化類型：提供瞭如f16、Q8_0、Q6_K_L等多種量化類型的文件，可根據需求選擇。
• 修復優化：修復了分詞器問題。

📚 詳細文檔

提示格式

未找到提示格式，請查看原始模型頁面。

新增內容

修復了分詞器。

下載文件

可從以下表格中選擇下載單個文件（非整個分支）：

嵌入/輸出權重

部分量化類型（如Q3_K_XL、Q4_K_L等）採用標準量化方法，將嵌入和輸出權重量化為Q8_0，而非默認設置。

使用huggingface-cli下載

🔧 技術細節

模型指標

📄 許可證

本項目使用apache-2.0許可證。