bge-microオープンソース文書類似度計算モデル - 軽量設計で、特徴抽出と類似計算を効率的に完了

ホーム

Bge Micro

TaylorAIによって開発

bge_micro は軽量な文類似度計算モデルで、トランスフォーマーアーキテクチャに基づき、効率的な特徴抽出と文類似度タスクのために設計されています。

テキスト埋め込み

Transformers

#文類似度計算 #マルチタスク評価 #テキスト特徴抽出

ダウンロード数 1,799

リリース時間 : 10/7/2023

モデル概要

このモデルは主に文間の類似度計算に使用され、テキスト分類、情報検索、クラスタリング分析などの様々な自然言語処理タスクをサポートします。

モデル特徴

軽量設計

モデルサイズが小さく、リソースが限られた環境での使用に適しています。

マルチタスクサポート

文類似度、分類、クラスタリング、情報検索など様々なタスクをサポートします。

効率的な特徴抽出

文の特徴を効率的に抽出でき、大規模なテキスト処理に適しています。

モデル能力

文類似度計算

テキスト特徴抽出

テキスト分類

情報検索

テキストクラスタリング

使用事例

電子商取引

商品レビュー分類

Amazonの商品レビューを感情分類します。

Amazon極性分類タスクで75.37%の精度を達成しました。

反事実的レビュー検出

Amazon上の反事実的レビューを識別します。

反事実的分類タスクで66.27%の精度を達成しました。

金融

銀行カスタマーサポート質問分類

銀行の顧客質問を分類します。

Banking77データセットで80.58%の精度を達成しました。

学術研究

学術論文クラスタリング

arXivとbiorxivの学術論文をクラスタリング分析します。

arXiv論文クラスタリングタスクで44.60%のV-measureを達成しました。

🚀 bge_micro

このモデルは文の類似度を計算するためのもので、様々な自然言語処理タスクにおいて優れた性能を発揮します。

✨ 主な機能

文の特徴抽出
文の類似度計算
分類、検索、クラスタリングなどのタスクに対応

📚 ドキュメント

モデル情報

属性	詳情
モデルタイプ	文の類似度計算
タグ	sentence-transformers、feature-extraction、sentence-similarity、transformers、mteb

評価指標

分類タスク

データセット	正解率	AP	F1スコア
MTEB AmazonCounterfactualClassification (en)	66.26865671641792	28.174006539079688	59.724963358211035
MTEB AmazonPolarityClassification	75.3691	69.64182876373573	75.2906345000088
MTEB AmazonReviewsClassification (en)	35.806	-	35.506516495961904
MTEB Banking77Classification	80.58116883116882	-	80.53335622619781

検索タスク

データセット	MAP@1	MAP@10	MAP@100	MAP@1000	MRR@1	MRR@10	MRR@100	MRR@1000	NDCG@1	NDCG@10	NDCG@100	NDCG@1000	Precision@1	Precision@10	Precision@100	Precision@1000	Recall@1	Recall@10	Recall@100	Recall@1000
MTEB ArguAna	27.24	42.832	43.797000000000004	43.804	27.951999999999998	43.111	44.083	44.09	27.24	51.513	55.762	55.938	27.24	7.93	0.9820000000000001	0.1	27.24	79.303	98.151	99.502
MTEB CQADupstackAndroidRetrieval	26.051000000000002	36.291000000000004	37.632	37.772	33.333	42.642	43.401	43.463	33.333	42.291000000000004	47.602	50.109	33.333	8.254999999999999	1.353	0.185	26.051000000000002	53.107000000000006	76.22	92.92399999999999
MTEB CQADupstackEnglishRetrieval	19.698999999999998	26.186	27.133000000000003	27.256999999999998	24.712999999999997	30.703999999999997	31.445	31.517	24.712999999999997	30.198000000000004	34.412	37.174	24.712999999999997	5.489999999999999	0.955	0.14400000000000002	19.698999999999998	37.595	55.962	74.836
MTEB CQADupstackGamingRetrieval	34.224	44.867000000000004	45.944	46.013999999999996	39.436	48.301	49.055	49.099	39.436	50.214000000000006	54.63	56.165	39.436	8.037999999999998	1.118	0.13	34.224	62.690999999999995	81.951	92.93299999999999
MTEB CQADupstackGisRetrieval	21.375	28.366000000000003	29.363	29.458000000000002	22.938	30.072	30.993	31.070999999999998	22.938	32.516	37.641999999999996	40.150999999999996	22.938	5.028	0.8	0.105	21.375	43.682	67.619	86.64699999999999
MTEB CQADupstackMathematicaRetrieval	14.95	21.417	22.525000000000002	22.665	18.159	25.373	26.348	26.432	18.159	26.043	31.491999999999997	34.818	18.159	4.938	0.872	0.129	14.95	36.285000000000004	60.431999999999995	84.208
MTEB CQADupstackPhysicsRetrieval	23.580000000000002	32.906	34.222	34.346	28.778	37.783	38.746	38.804	28.778	38.484	44.322	46.772000000000006	28.778	7.151000000000001	1.185	0.158	23.580000000000002	50.151999999999994	75.114	91.467

クラスタリングタスク

データセット	V-measure
MTEB ArxivClusteringP2P	44.59766397469585
MTEB ArxivClusteringS2S	34.480143023109626
MTEB BiorxivClusteringP2P	37.13458676004344
MTEB BiorxivClusteringS2S	29.720429607514898