Mind Map Blog Model
これはsentence-transformers/paraphrase-multilingual-MiniLM-L12-v2から微調整された文変換器モデルで、テキストを384次元のベクトル空間にマッピングし、意味的類似度計算などのタスクに使用できます。
ダウンロード数 463
リリース時間 : 10/30/2024
モデル概要
このモデルは文や段落を384次元の密集ベクトル空間にマッピングし、意味的テキスト類似性、意味的検索、言い換えマイニング、テキスト分類、クラスタリングなどのタスクに使用できます。
モデル特徴
多言語対応
multilingual-MiniLMアーキテクチャに基づき、複数の言語のテキスト埋め込みをサポートします。
効率的で軽量
MiniLMアーキテクチャを採用し、性能を維持しながらモデルサイズを削減します。
意味的類似度計算
文の類似度タスクに特化して最適化され、コサイン類似度を使用して意味的な関連性を測定します。
モデル能力
意味的テキスト類似度計算
意味的検索
言い換えマイニング
テキスト分類
テキストクラスタリング
使用事例
情報検索
類似質問のマッチング
質問応答システムで意味的に類似した質問をマッチングします。
「公務員試験の準備時間」と「公務員試験の準備にかかる平均時間はどれくらいか」などの意味的に類似した質問を正確に識別できます。
コンテンツ管理
重複コンテンツの検出
異なる表現であるが意味が同じコンテンツを識別します。
「英語の発音をどうやって向上させるか」と「英語の単語の発音をどうやって向上させるか」などの言い換えコンテンツを検出できます。
🚀 sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2ベースの文変換モデル
このプロジェクトは sentence-transformers フレームワークを基に、sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 モデルを微調整しています。このモデルは、文や段落を384次元の密ベクトル空間にマッピングでき、意味的なテキスト類似度計算、意味検索、言い換えマイニング、テキスト分類、クラスタリングなど、さまざまな自然言語処理タスクに適しています。
🚀 クイックスタート
依存ライブラリのインストール
まず、sentence-transformers
ライブラリをインストールする必要があります。
pip install -U sentence-transformers
モデルのロードと推論
from sentence_transformers import SentenceTransformer
# 🤗 Hub からモデルをダウンロード
model = SentenceTransformer("sentence_transformers_model_id")
# 推論を実行
sentences = [
"What was Nikola Tesla's IQ?",
'Did Nikola Tesla have children?',
'What hotel in Raipur would be safe for unmarried couples, without the harassment of police, hotel staff, and moral police?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]
# 埋め込みベクトルの類似度スコアを取得
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
✨ 主な機能
- 多言語対応:多言語の基礎モデルを基にしており、複数の言語の文や段落を処理できます。
- 効率的なベクトルマッピング:テキストを384次元の密ベクトル空間にマッピングし、意味的な類似度計算やその他の自然言語処理タスクを容易に行えます。
- 様々なアプリケーションシーン:意味的なテキスト類似度計算、意味検索、言い換えマイニング、テキスト分類、クラスタリングなどに使用できます。
📦 インストール
sentence-transformers
ライブラリをインストールします。
pip install -U sentence-transformers
💻 使用例
基本的な使用法
from sentence_transformers import SentenceTransformer
# 🤗 Hub からモデルをダウンロード
model = SentenceTransformer("sentence_transformers_model_id")
# 推論を実行
sentences = [
"What was Nikola Tesla's IQ?",
'Did Nikola Tesla have children?',
'What hotel in Raipur would be safe for unmarried couples, without the harassment of police, hotel staff, and moral police?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]
# 埋め込みベクトルの類似度スコアを取得
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
📚 ドキュメント
モデルの詳細
モデルの説明
属性 | 詳細 |
---|---|
モデルタイプ | 文変換モデル |
基礎モデル | sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 |
最大シーケンス長 | 128 トークン |
出力次元 | 384 トークン |
類似度関数 | コサイン類似度 |
モデルの出所
- ドキュメント:Sentence Transformers ドキュメント
- コードリポジトリ:GitHub 上の Sentence Transformers
- Hugging Face:Hugging Face 上の Sentence Transformers
完全なモデルアーキテクチャ
SentenceTransformer(
(0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel
(1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
学習の詳細
学習データセット
- 未命名データセット
- 規模:101,072 個の学習サンプル
- 列名:
sentence_0
、sentence_1
、label
- 最初の1000個のサンプルに基づく近似統計情報:
sentence_0
sentence_1
label
タイプ 文字列 文字列 浮動小数点数 詳細 - 最小値: 6 トークン
- 平均値: 16.52 トークン
- 最大値: 59 トークン
- 最小値: 6 トークン
- 平均値: 16.55 トークン
- 最大値: 78 トークン
- 最小値: 0.0
- 平均値: 0.37
- 最大値: 1.0
- サンプル例:
sentence_0
sentence_1
label
How can I improve my pronunciation of English words?
How can I improve my pronunciation in English?
1.0
How can I increase my attractiveness?
How do I increase my attraction towards someone?
0.0
What are the best places to work in?
Which are the best places to work in india?
0.0
- 損失関数:
MultipleNegativesRankingLoss
、パラメータは以下の通り:{ "scale": 20.0, "similarity_fct": "cos_sim" }
学習ハイパーパラメータ
デフォルトではないハイパーパラメータ
per_device_train_batch_size
: 16per_device_eval_batch_size
: 16num_train_epochs
: 1multi_dataset_batch_sampler
: round_robin
すべてのハイパーパラメータ
クリックして展開
overwrite_output_dir
: Falsedo_predict
: Falseeval_strategy
: noprediction_loss_only
: Trueper_device_train_batch_size
: 16per_device_eval_batch_size
: 16per_gpu_train_batch_size
: Noneper_gpu_eval_batch_size
: Nonegradient_accumulation_steps
: 1eval_accumulation_steps
: Nonetorch_empty_cache_steps
: Nonelearning_rate
: 5e-05weight_decay
: 0.0adam_beta1
: 0.9adam_beta2
: 0.999adam_epsilon
: 1e-08max_grad_norm
: 1num_train_epochs
: 1max_steps
: -1lr_scheduler_type
: linearlr_scheduler_kwargs
: {}warmup_ratio
: 0.0warmup_steps
: 0log_level
: passivelog_level_replica
: warninglog_on_each_node
: Truelogging_nan_inf_filter
: Truesave_safetensors
: Truesave_on_each_node
: Falsesave_only_model
: Falserestore_callback_states_from_checkpoint
: Falseno_cuda
: Falseuse_cpu
: Falseuse_mps_device
: Falseseed
: 42data_seed
: Nonejit_mode_eval
: Falseuse_ipex
: Falsebf16
: Falsefp16
: Falsefp16_opt_level
: O1half_precision_backend
: autobf16_full_eval
: Falsefp16_full_eval
: Falsetf32
: Nonelocal_rank
: 0ddp_backend
: Nonetpu_num_cores
: Nonetpu_metrics_debug
: Falsedebug
: []dataloader_drop_last
: Falsedataloader_num_workers
: 0dataloader_prefetch_factor
: Nonepast_index
: -1disable_tqdm
: Falseremove_unused_columns
: Truelabel_names
: Noneload_best_model_at_end
: Falseignore_data_skip
: Falsefsdp
: []fsdp_min_num_params
: 0fsdp_config
: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap
: Noneaccelerator_config
: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed
: Nonelabel_smoothing_factor
: 0.0optim
: adamw_torchoptim_args
: Noneadafactor
: Falsegroup_by_length
: Falselength_column_name
: lengthddp_find_unused_parameters
: Noneddp_bucket_cap_mb
: Noneddp_broadcast_buffers
: Falsedataloader_pin_memory
: Truedataloader_persistent_workers
: Falseskip_memory_metrics
: Trueuse_legacy_prediction_loop
: Falsepush_to_hub
: Falseresume_from_checkpoint
: Nonehub_model_id
: Nonehub_strategy
: every_savehub_private_repo
: Falsehub_always_push
: Falsegradient_checkpointing
: Falsegradient_checkpointing_kwargs
: Noneinclude_inputs_for_metrics
: Falseeval_do_concat_batches
: Truefp16_backend
: autopush_to_hub_model_id
: Nonepush_to_hub_organization
: Nonemp_parameters
:auto_find_batch_size
: Falsefull_determinism
: Falsetorchdynamo
: Noneray_scope
: lastddp_timeout
: 1800torch_compile
: Falsetorch_compile_backend
: Nonetorch_compile_mode
: Nonedispatch_batches
: Nonesplit_batches
: Noneinclude_tokens_per_second
: Falseinclude_num_input_tokens_seen
: Falseneftune_noise_alpha
: Noneoptim_target_modules
: Nonebatch_eval_metrics
: Falseeval_on_start
: Falseuse_liger_kernel
: Falseeval_use_gather_object
: Falsebatch_sampler
: batch_samplermulti_dataset_batch_sampler
: round_robin
学習ログ
エポック | ステップ | 学習損失 |
---|---|---|
0.0792 | 500 | 0.3521 |
0.1583 | 1000 | 0.3428 |
0.2375 | 1500 | 0.3234 |
0.3166 | 2000 | 0.2888 |
0.3958 | 2500 | 0.3205 |
0.4749 | 3000 | 0.2975 |
0.5541 | 3500 | 0.2854 |
0.6332 | 4000 | 0.2913 |
0.7124 | 4500 | 0.2991 |
0.7915 | 5000 | 0.292 |
0.8707 | 5500 | 0.3149 |
0.9498 | 6000 | 0.289 |
フレームワークのバージョン
- Python: 3.9.20
- Sentence Transformers: 3.1.1
- Transformers: 4.45.1
- PyTorch: 2.4.1+cpu
- Accelerate: 0.34.2
- Datasets: 3.0.1
- Tokenizers: 0.20.0
📄 ライセンス
このプロジェクトの関連引用情報は以下の通りです。
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
MultipleNegativesRankingLoss
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
Jina Embeddings V3
Jina Embeddings V3 は100以上の言語をサポートする多言語文埋め込みモデルで、文の類似度と特徴抽出タスクに特化しています。
テキスト埋め込み
Transformers 複数言語対応

J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
MS Marcoパッセージランキングタスクで訓練されたクロスエンコーダモデル、情報検索におけるクエリ-パッセージ関連性スコアリング用
テキスト埋め込み 英語
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
蒸留技術に基づくスパース検索モデルで、OpenSearch向けに最適化されており、推論不要のドキュメントエンコーディングをサポートし、検索関連性と効率性においてV1版を上回ります
テキスト埋め込み
Transformers 英語

O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
PubMedBERTに基づく生物医学エンティティ表現モデルで、自己アライメント事前学習により意味関係の捕捉を最適化します。
テキスト埋め込み 英語
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Largeは強力なセンテンストランスフォーマーモデルで、文の類似度とテキスト埋め込みタスクに特化しており、複数のベンチマークテストで優れた性能を発揮します。
テキスト埋め込み 英語
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 は英語の文章変換モデルで、文章類似度タスクに特化しており、複数のテキスト埋め込みベンチマークで優れた性能を発揮します。
テキスト埋め込み
Transformers 複数言語対応

G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base は50以上の言語をサポートする多言語文埋め込みモデルで、文類似度計算などのタスクに適しています。
テキスト埋め込み
Transformers 複数言語対応

G
Alibaba-NLP
1.2M
246
Polybert
polyBERTは、完全に機械駆動の超高速ポリマー情報学を実現するための化学言語モデルです。PSMILES文字列を600次元の密なフィンガープリントにマッピングし、ポリマー化学構造を数値形式で表現します。
テキスト埋め込み
Transformers

P
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
トルコ語BERTベースの文埋め込みモデルで、意味的類似性タスクに最適化
テキスト埋め込み
Transformers その他

B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
BAAI/bge-small-en-v1.5モデルを微調整したテキスト埋め込みモデルで、MEDIデータセットとMTEB分類タスクデータセットで訓練され、検索タスクのクエリエンコーディング能力を最適化しました。
テキスト埋め込み
Safetensors 英語
G
avsolatorio
945.68k
29
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル
Transformers 複数言語対応

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2%です。
対話システム
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98