Mind Map Blog Model

🚀 sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2ベースの文変換モデル

このプロジェクトは sentence-transformers フレームワークを基に、sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 モデルを微調整しています。このモデルは、文や段落を384次元の密ベクトル空間にマッピングでき、意味的なテキスト類似度計算、意味検索、言い換えマイニング、テキスト分類、クラスタリングなど、さまざまな自然言語処理タスクに適しています。

🚀 クイックスタート

依存ライブラリのインストール

まず、sentence-transformers ライブラリをインストールする必要があります。

pip install -U sentence-transformers

モデルのロードと推論

from sentence_transformers import SentenceTransformer

# 🤗 Hub からモデルをダウンロード
model = SentenceTransformer("sentence_transformers_model_id")
# 推論を実行
sentences = [
    "What was Nikola Tesla's IQ?",
    'Did Nikola Tesla have children?',
    'What hotel in Raipur would be safe for unmarried couples, without the harassment of police, hotel staff, and moral police?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 埋め込みベクトルの類似度スコアを取得
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主な機能

• 多言語対応：多言語の基礎モデルを基にしており、複数の言語の文や段落を処理できます。
• 効率的なベクトルマッピング：テキストを384次元の密ベクトル空間にマッピングし、意味的な類似度計算やその他の自然言語処理タスクを容易に行えます。
• 様々なアプリケーションシーン：意味的なテキスト類似度計算、意味検索、言い換えマイニング、テキスト分類、クラスタリングなどに使用できます。

📦 インストール

sentence-transformers ライブラリをインストールします。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

# 🤗 Hub からモデルをダウンロード
model = SentenceTransformer("sentence_transformers_model_id")
# 推論を実行
sentences = [
    "What was Nikola Tesla's IQ?",
    'Did Nikola Tesla have children?',
    'What hotel in Raipur would be safe for unmarried couples, without the harassment of police, hotel staff, and moral police?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 埋め込みベクトルの類似度スコアを取得
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 ドキュメント

モデルの詳細

モデルの説明

モデルの出所

• ドキュメント：Sentence Transformers ドキュメント
• コードリポジトリ：GitHub 上の Sentence Transformers
• Hugging Face：Hugging Face 上の Sentence Transformers

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

学習の詳細

学習データセット

• 未命名データセット
  • 規模：101,072 個の学習サンプル
  • 列名：sentence_0、sentence_1、label
  • 最初の1000個のサンプルに基づく近似統計情報：

    	sentence_0	sentence_1	label
    タイプ	文字列	文字列	浮動小数点数
    詳細	最小値: 6 トークン 平均値: 16.52 トークン 最大値: 59 トークン	最小値: 6 トークン 平均値: 16.55 トークン 最大値: 78 トークン	最小値: 0.0 平均値: 0.37 最大値: 1.0

  • サンプル例：

    sentence_0	sentence_1	label
    How can I improve my pronunciation of English words?	How can I improve my pronunciation in English?	1.0
    How can I increase my attractiveness?	How do I increase my attraction towards someone?	0.0
    What are the best places to work in?	Which are the best places to work in india?	0.0

  • 損失関数：MultipleNegativesRankingLoss、パラメータは以下の通り：

    {
        "scale": 20.0,
        "similarity_fct": "cos_sim"
    }
    

学習ハイパーパラメータ

デフォルトではないハイパーパラメータ

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 1
• multi_dataset_batch_sampler: round_robin

すべてのハイパーパラメータ

学習ログ

フレームワークのバージョン

• Python: 3.9.20
• Sentence Transformers: 3.1.1
• Transformers: 4.45.1
• PyTorch: 2.4.1+cpu
• Accelerate: 0.34.2
• Datasets: 3.0.1
• Tokenizers: 0.20.0

📄 ライセンス

このプロジェクトの関連引用情報は以下の通りです。

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}