LaBSE-ru-turboオープンソースBERTモデル - 無料でデプロイし、ロシア語の文章埋め込みを高精度で計算

ホーム

Labse Ru Turbo

sergeyzhによって開発

ロシア語の文埋め込みを計算するためのBERTモデル。cointegrated/LaBSE-en-ruを基に開発され、ロシア語処理性能を最適化

テキスト埋め込み

Transformers

その他オープンソースライセンス:MIT #ロシア語文埋め込み #効率的な推論 #意味的類似度計算

ダウンロード数 3,987

リリース時間 : 6/27/2024

モデル概要

このモデルはロシア語の文の埋め込み表現を生成するために特別に設計されており、文の類似度計算や意味的検索などのタスクに適しています。元のLaBSEモデルと同じアーキテクチャを維持しながら、ロシア語に特化して最適化されています。

モデル特徴

ロシア語最適化

ロシア語に特化して最適化されており、ロシア語タスクでは元のLaBSEモデルよりも優れた性能を発揮

効率的な推論

CPUとGPUの両方で高い推論速度を実現し、本番環境への展開に適しています

マルチタスクサポート

分類、クラスタリング、検索など、さまざまなロシア語NLPタスクで良好な性能を発揮

モデル能力

文埋め込み生成

意味的類似度計算

テキスト分類

テキストクラスタリング

情報検索

質問応答システム

使用事例

意味的検索

ニュース検索

ニュース記事の意味的検索システムに使用

ruMTEBベンチマークテストでNDCG@10が0.694を達成

質問応答システム

質問応答の再ランキング

質問応答システムにおける回答のランキング品質を改善

ruMTEBベンチマークテストでMAP@10が0.687を達成

テキスト分類

地理的レビュー分類

地理に関連するレビューを分類

ruMTEBベンチマークテストで精度0.438を達成

🚀 ロシア語用BERTモデル「LaBSE-ru-turbo」

このモデルは、ロシア語の文章の埋め込み計算に特化したBERTモデルです。cointegrated/LaBSE-en-ru をベースに構築されており、同様のコンテキストサイズ (512)、埋め込み次元 (768)、そして高速な性能を備えています。

🚀 クイックスタート

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer('sergeyzh/LaBSE-ru-turbo')

sentences = ["привет мир", "hello world", "здравствуй вселенная"]
embeddings = model.encode(sentences)
print(util.dot_score(embeddings, embeddings))

📚 ドキュメント

モデル情報

属性	详情
パイプラインタグ	文章の類似度計算
タグ	ロシア語、事前学習、埋め込み、特徴抽出、文章の類似度、Sentence Transformers、Transformers
データセット	IlyaGusev/gazeta、zloelias/lenta-ru
ライセンス	MIT
ベースモデル	cointegrated/LaBSE-en-ru

メトリクス

encodechkaベンチマークでの評価

モデル名	CPU	GPU	サイズ	Mean S	Mean S+W	次元
sergeyzh/LaBSE-ru-turbo	120.40	8.05	490	0.789	0.702	768
BAAI/bge-m3	523.40	22.50	2166	0.787	0.696	1024
intfloat/multilingual-e5-large	506.80	30.80	2136	0.780	0.686	1024
intfloat/multilingual-e5-base	130.61	14.39	1061	0.761	0.669	768
sergeyzh/rubert-tiny-turbo	5.51	3.25	111	0.749	0.667	312
intfloat/multilingual-e5-small	40.86	12.09	449	0.742	0.645	384
cointegrated/LaBSE-en-ru	120.40	8.05	490	0.739	0.667	768

モデル名	STS	PI	NLI	SA	TI	IA	IC	ICX	NE1	NE2
sergeyzh/LaBSE-ru-turbo	0.864	0.748	0.490	0.814	0.974	0.806	0.815	0.801	0.305	0.404
BAAI/bge-m3	0.864	0.749	0.510	0.819	0.973	0.792	0.809	0.783	0.240	0.422
intfloat/multilingual-e5-large	0.862	0.727	0.473	0.810	0.979	0.798	0.819	0.773	0.224	0.374
intfloat/multilingual-e5-base	0.835	0.704	0.459	0.796	0.964	0.783	0.802	0.738	0.235	0.376
sergeyzh/rubert-tiny-turbo	0.828	0.722	0.476	0.787	0.955	0.757	0.780	0.685	0.305	0.373
intfloat/multilingual-e5-small	0.822	0.714	0.457	0.758	0.957	0.761	0.779	0.691	0.234	0.275
cointegrated/LaBSE-en-ru	0.794	0.659	0.431	0.761	0.946	0.766	0.789	0.769	0.340	0.414

ruMTEBベンチマークでの評価

モデル名	評価指標	sbert_large_ mt_nlu_ru	sbert_large_ nlu_ru	LaBSE-ru-sts	LaBSE-ru-turbo	multilingual-e5-small	multilingual-e5-base	multilingual-e5-large
CEDRClassification	正解率	0.368	0.358	0.418	0.451	0.401	0.423	0.448
GeoreviewClassification	正解率	0.397	0.400	0.406	0.438	0.447	0.461	0.497
GeoreviewClusteringP2P	V-measure	0.584	0.590	0.626	0.644	0.586	0.545	0.605
HeadlineClassification	正解率	0.772	0.793	0.633	0.688	0.732	0.757	0.758
InappropriatenessClassification	正解率	0.646	0.625	0.599	0.615	0.592	0.588	0.616
KinopoiskClassification	正解率	0.503	0.495	0.496	0.521	0.500	0.509	0.566
RiaNewsRetrieval	NDCG@10	0.214	0.111	0.651	0.694	0.700	0.702	0.807
RuBQReranking	MAP@10	0.561	0.468	0.688	0.687	0.715	0.720	0.756
RuBQRetrieval	NDCG@10	0.298	0.124	0.622	0.657	0.685	0.696	0.741
RuReviewsClassification	正解率	0.589	0.583	0.599	0.632	0.612	0.630	0.653
RuSTSBenchmarkSTS	ピアソン相関係数	0.712	0.588	0.788	0.822	0.781	0.796	0.831
RuSciBenchGRNTIClassification	正解率	0.542	0.539	0.529	0.569	0.550	0.563	0.582
RuSciBenchGRNTIClusteringP2P	V-measure	0.522	0.504	0.486	0.517	0.511	0.516	0.520
RuSciBenchOECDClassification	正解率	0.438	0.430	0.406	0.440	0.427	0.423	0.445
RuSciBenchOECDClusteringP2P	V-measure	0.473	0.464	0.426	0.452	0.443	0.448	0.450
SensitiveTopicsClassification	正解率	0.285	0.280	0.262	0.272	0.228	0.234	0.257
TERRaClassification	平均精度	0.520	0.502	0.587	0.585	0.551	0.550	0.584

モデル名	評価指標	sbert_large_ mt_nlu_ru	sbert_large_ nlu_ru	LaBSE-ru-sts	LaBSE-ru-turbo	multilingual-e5-small	multilingual-e5-base	multilingual-e5-large
Classification	正解率	0.554	0.552	0.524	0.558	0.551	0.561	0.588
Clustering	V-measure	0.526	0.519	0.513	0.538	0.513	0.503	0.525
MultiLabelClassification	正解率	0.326	0.319	0.340	0.361	0.314	0.329	0.353
PairClassification	平均精度	0.520	0.502	0.587	0.585	0.551	0.550	0.584
Reranking	MAP@10	0.561	0.468	0.688	0.687	0.715	0.720	0.756
Retrieval	NDCG@10	0.256	0.118	0.637	0.675	0.697	0.699	0.774
STS	ピアソン相関係数	0.712	0.588	0.788	0.822	0.781	0.796	0.831
Average	平均	0.494	0.438	0.582	0.604	0.588	0.594	0.630