Modernbert Base Sts

🚀 answerdotai/ModernBERT-baseベースの文章変換器

このプロジェクトは answerdotai/ModernBERT-base モデルをベースに、stsb データセットで微調整し、文章変換器モデルを得ました。このモデルは文章や段落を768次元の密ベクトル空間にマッピングでき、意味的なテキスト類似度計算、意味検索、言い換えマイニング、テキスト分類、クラスタリングなどのタスクに利用できます。

🚀 クイックスタート

このモデルは answerdotai/ModernBERT-base をベースに、stsb データセットで微調整された sentence-transformers モデルです。文章や段落を768次元の密ベクトル空間にマッピングでき、意味的なテキスト類似度、意味検索、言い換えマイニング、テキスト分類、クラスタリングなどの自然言語処理タスクに利用できます。

✨ 主な機能

• 意味類似度計算：文章間の意味類似度を正確に計算できます。
• 多タスク対応：意味検索、言い換えマイニング、テキスト分類、クラスタリングなどの様々な自然言語処理タスクに利用できます。
• 高次元ベクトルマッピング：文章や段落を768次元の密ベクトル空間にマッピングします。

📦 インストール

まず、Sentence Transformers ライブラリをインストールする必要があります。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

# 从 🤗 Hub 下载模型
model = SentenceTransformer("nickprock/ModernBERT-base-sts")
# 运行推理
sentences = [
    'While Queen may refer to both Queen regent (sovereign) or Queen consort, the King has always been the sovereign.',
    'There is a very good reason not to refer to the Queen\'s spouse as "King" - because they aren\'t the King.',
    'A man sitting on the floor in a room is strumming a guitar.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 ドキュメント

モデル詳細

モデル説明

モデルの出所

• ドキュメント：Sentence Transformers ドキュメント
• リポジトリ：GitHub 上の Sentence Transformers
• Hugging Face：Hugging Face 上の Sentence Transformers

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

評価

指標

学習詳細

学習データセット

• データセット：stsb
• サイズ：5749 個の学習サンプル
• 列：sentence1、sentence2 および score
• 損失関数：CoSENTLoss、パラメータは以下の通りです。

{
    "scale": 20.0,
    "similarity_fct": "pairwise_cos_sim"
}

評価データセット

• データセット：stsb
• サイズ：1500 個の評価サンプル
• 列：sentence1、sentence2 および score
• 損失関数：CoSENTLoss、パラメータは以下の通りです。

{
    "scale": 20.0,
    "similarity_fct": "pairwise_cos_sim"
}

学習ハイパーパラメータ

非デフォルトのハイパーパラメータ

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 4
• warmup_ratio: 0.1
• fp16: True

すべてのハイパーパラメータ

学習ログ

フレームワークバージョン

• Python：3.10.12
• Sentence Transformers：3.4.0.dev0
• Transformers：4.49.0.dev0
• PyTorch：2.4.1+cu121
• Accelerate：0.34.2
• Datasets：3.2.0
• Tokenizers：0.21.0

🔧 技術詳細

引用

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}