e5-base-multilingual-4096オープンソースモデル - 4096トークンの多言語テキスト埋め込み処理をサポート

Home

E5 Base Multilingual 4096

Developed by efederici

E5-base-multilingual-4096はintfloat/multilingual-e5-baseのローカルスパースグローバルバージョンで、最大4096トークンの多言語テキスト埋め込みモデルを処理できます。

テキスト埋め込み

Transformers

Supports Multiple Languages#多言語テキスト埋め込み #長文処理 #クロスランゲージ検索

Downloads 340

Release Time : 6/15/2023

Model Overview

このモデルは多言語テキスト埋め込みモデルで、文の類似度タスクに特化しており、複数の言語のテキストを処理し高品質な埋め込みベクトルを生成できます。

Model Features

多言語サポート

100以上の言語のテキスト埋め込みをサポートし、主要な世界言語や多くの少数言語を含みます。

長文処理

最大4096トークンの長文を処理でき、長いドキュメントや段落の処理に適しています。

高品質埋め込み

弱教師付きコントラスティブ事前学習手法に基づき、高品質なテキスト埋め込みベクトルを生成します。

Model Capabilities

多言語テキスト埋め込み

文の類似度計算

クロスランゲージ情報検索

Use Cases

情報検索

クロスランゲージドキュメント検索

このモデルを使用して、異なる言語だが内容が類似したドキュメントを検索できます。

クロスランゲージ検索の精度と効率を向上

質問応答システム

多言語質問応答

複数の言語をサポートする質問応答システムを構築し、異なる言語のクエリを理解して関連する回答を返します。

質問応答システムの言語カバレッジを拡大

🚀 E5-base-multilingual-4096

Local-Sparse-Global バージョンの intfloat/multilingual-e5-base です。最大4kトークンを扱うことができます。

🚀 クイックスタート

💻 使用例

基本的な使用法

以下は、MS-MARCOパッセージランキングデータセットからクエリとパッセージをエンコードする例です。

import torch.nn.functional as F
from torch import Tensor
from transformers import AutoTokenizer, AutoModel

def average_pool(
  last_hidden_states: Tensor,
  attention_mask: Tensor
) -> Tensor:
    last_hidden = last_hidden_states.masked_fill(~attention_mask[..., None].bool(), 0.0)
    return last_hidden.sum(dim=1) / attention_mask.sum(dim=1)[..., None]

input_texts = [
  'query: how much protein should a female eat',
  'query: summit define',
  "passage: As a general guideline, the CDC's average requirement of protein for women ages 19 to 70 is 46 grams per day. But, as you can see from this chart, you'll need to increase that if you're expecting or training for a marathon. Check out the chart below to see how much protein you should be eating each day.",
  "passage: Definition of summit for English Language Learners. : 1  the highest point of a mountain : the top of a mountain. : 2  the highest level. : 3  a meeting or series of meetings between the leaders of two or more governments."
]

tokenizer = AutoTokenizer.from_pretrained('efederici/e5-base-multilingual-4096')
model = AutoModel.from_pretrained('efederici/e5-base-multilingual-4096', trust_remote_code=True)

batch_dict = tokenizer(input_texts, max_length=4096, padding=True, truncation=True, return_tensors='pt')
outputs = model(**batch_dict)
embeddings = average_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

# (Optionally) normalize embeddings
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:2] @ embeddings[2:].T) * 100

print(scores.tolist())

引用

@article{wang2022text,
  title={Text Embeddings by Weakly-Supervised Contrastive Pre-training},
  author={Wang, Liang and Yang, Nan and Huang, Xiaolong and Jiao, Binxing and Yang, Linjun and Jiang, Daxin and Majumder, Rangan and Wei, Furu},
  journal={arXiv preprint arXiv:2212.03533},
  year={2022}
}