Granite Embedding 107m Multilingual GGUF

🚀 多言語107M埋め込みモデルgraniteの量子化バージョン

このプロジェクトでは、granite-embedding-107m-multilingualモデルの静的量子化バージョンを提供しています。llama.cppを使って量子化処理を行い、LM Studioで実行可能で、複数の言語をサポートしています。

🚀 クイックスタート

llama.cpp でリリースされた b4381 バージョンを使用して量子化を行います。 元のモデルのアドレス：https://huggingface.co/ibm-granite/granite-embedding-107m-multilingual これらの量子化モデルは LM Studio で実行できます。

✨ 主な機能

• 多言語サポート：英語、アラビア語、チェコ語など、複数の言語をサポートしています。
• 複数の量子化タイプ：f16、Q8_0、Q6_K_L など、複数の量子化タイプのファイルを提供しており、必要に応じて選択できます。
• 修正と最適化：トークナイザの問題を修正しました。

📚 ドキュメント

プロンプト形式

プロンプト形式は見つかりませんでした。元のモデルページを確認してください。

追加内容

トークナイザを修正しました。

ファイルのダウンロード

以下の表から、個々のファイル（ブランチ全体ではなく）を選択してダウンロードできます。

埋め込み/出力ウェイト

一部の量子化タイプ（Q3_K_XL、Q4_K_L など）では、標準の量子化方法を使用し、埋め込みと出力のウェイトをQ8_0に量子化しています。これはデフォルト設定ではありません。

huggingface-cliを使用したダウンロード

🔧 技術詳細

モデル指標

📄 ライセンス

このプロジェクトはapache-2.0ライセンスを使用しています。