Granite Embedding 107m Multilingual GGUF

🚀 多语言107M嵌入模型granite量化版本

该项目提供了granite-embedding-107m-multilingual模型的静态量化版本，借助llama.cpp进行量化处理，可在LM Studio中运行，支持多种语言。

🚀 快速开始

使用 llama.cpp 发布的 b4381 版本进行量化。 原始模型地址：https://huggingface.co/ibm-granite/granite-embedding-107m-multilingual 可在 LM Studio 中运行这些量化模型。

✨ 主要特性

• 多语言支持：支持英语、阿拉伯语、捷克语等多种语言。
• 多种量化类型：提供了如f16、Q8_0、Q6_K_L等多种量化类型的文件，可根据需求选择。
• 修复优化：修复了分词器问题。

📚 详细文档

提示格式

未找到提示格式，请查看原始模型页面。

新增内容

修复了分词器。

下载文件

可从以下表格中选择下载单个文件（非整个分支）：

嵌入/输出权重

部分量化类型（如Q3_K_XL、Q4_K_L等）采用标准量化方法，将嵌入和输出权重量化为Q8_0，而非默认设置。

使用huggingface-cli下载

🔧 技术细节

模型指标

📄 许可证

本项目使用apache-2.0许可证。