E5 Base V2 Gguf

🚀 e5-base-v2-gguf

このリポジトリは、e5-base-v2埋め込みモデルのGGUF形式のファイルを提供しています。これらのファイルは、特定のコミットに基づいて変換および量子化され、特定のハードウェアで生成されました。また、これらのファイルは特定のバージョンのllama.cppやLM Studioと互換性があります。

🚀 クイックスタート

このモデルを使用するには、まず必要な依存関係をインストールし、モデルファイルをダウンロードしてください。その後、以下のセクションで説明する使用例に沿って操作を行うことができます。

✨ 主な機能

• このモデルは、文章の埋め込みを計算するために使用できます。
• 最大512トークンのコンテキストをサポートしています。
• 複数の量子化方法が提供されており、メモリ使用量と精度のバランスを調整できます。

📦 インストール

このモデルを使用するには、以下の手順に従ってください。

1. llama.cppをビルドします。
2. 必要なモデルファイルをダウンロードします。
3. モデルファイルを適切な場所に配置します。

💻 使用例

基本的な使用法

llama.cppを使用して単一の埋め込みを計算するには、以下のコマンドを実行します。

./embedding -ngl 99 -m [filepath-to-gguf].gguf -p 'search_query: What is TSNE?'

また、複数のテキストを一度に埋め込むこともできます。ただし、トークンの総数がコンテキスト長を超えないようにしてください。 texts.txt:

search_query: What is TSNE?
search_query: Who is Laurens Van der Maaten?

複数の埋め込みを計算するには、以下のコマンドを実行します。

./embedding -ngl 99 -m [filepath-to-gguf].gguf -f texts.txt

高度な使用法

LM Studioを使用してモデルを利用するには、以下の手順に従ってください。

1. こちらからLM Studio 0.2.19ベータ版をダウンロードしてインストールします。
2. アプリを開き、メイン検索バーで"ChristianAzinn"を検索するか、左メニューの"Search"タブから検索します。
3. 表示されたモデルから目的のモデルを選択し、量子化方法を選んでダウンロードします。
4. モデルのダウンロードが完了すると、左メニューの"Local Server"タブに移動し、テキスト埋め込みモデルのローダーを開きます。
5. ドロップダウンからダウンロードしたモデルを選択してロードします。必要に応じて、右側のメニューで設定を調整します。
6. "Start Server"ボタンをクリックしてサーバーを起動します。

APIエンドポイントに対する例としてのcurlリクエストは以下の通りです。

curl http://localhost:1234/v1/embeddings \
  -H "Content-Type: application/json" \
  -d '{
    "input": "Your text string goes here",
    "model": "model-identifier-here"
  }'

📚 ドキュメント

元の説明

Text Embeddings by Weakly-Supervised Contrastive Pre-training Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder, Furu Wei, arXiv 2022

このモデルは12層で、埋め込みサイズは768です。

説明

このリポジトリに含まれるGGUF形式のファイルは、llama.cppの特定のPRとコミットに基づいて、consumer RTX 4090上で変換および量子化されました。

互換性

これらのファイルは、コミット4524290e8までのllama.cpp、およびバージョン0.2.19までのLM Studioと互換性があります。

量子化方法の説明

提供されるファイル

🔧 技術詳細

• モデルは、intfloat/e5-base-v2をベースにしています。
• 量子化は、llama.cppのPR 5500、コミット34aa045deを使用して行われました。
• このモデルは、最大512トークンのコンテキストをサポートしています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

謝辞

LM StudioチームやオープンソースAIに取り組んでいるすべての方々に感謝します。このREADMEは、nomic-ai-embed-text-v1.5-ggufやTheBlokeのREADMEにインスパイアされています。