Modernbert Embed Base Legal Matryoshka 2

🚀 ModernBERT Embed base Legal Matryoshka

このモデルは、nomic-ai/modernbert-embed-base をjsonデータセットで微調整した sentence-transformers モデルです。文章や段落を768次元の密ベクトル空間にマッピングし、意味的な文章の類似性、意味検索、言い換えマイニング、文章分類、クラスタリングなどに使用できます。

🚀 クイックスタート

このモデルを使用するには、まず sentence-transformers ライブラリをインストールする必要があります。

pip install -U sentence-transformers

次に、このモデルをロードして推論を実行できます。

from sentence_transformers import SentenceTransformer

# 🤗 Hubからダウンロード
model = SentenceTransformer("manishh16/modernbert-embed-base-legal-matryoshka-2")
# 推論を実行
sentences = [
    'protests pursuant to 28 U.S.C. § 1491(b).  See 28 U.S.C. § 1491(b).  Section 1491(b)(1) grants the \n17 \n \ncourt jurisdiction over protests filed “by an interested party objecting to a solicitation by a Federal \nagency for bids or proposals for a proposed contract . . . or any alleged violation of statute or',
    'Under which U.S. Code section are the protests filed?',
    "Which agency's declaration is mentioned?",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 埋め込みの類似度スコアを取得
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主な機能

• 文章や段落を768次元の密ベクトル空間にマッピングします。
• 意味的な文章の類似性、意味検索、言い換えマイニング、文章分類、クラスタリングなどに使用できます。

📦 インストール

このモデルを使用するには、sentence-transformers ライブラリをインストールする必要があります。

pip install -U sentence-transformers

📚 ドキュメント

モデル詳細

モデルの説明

モデルのソース

• ドキュメント: Sentence Transformers Documentation
• リポジトリ: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評価

情報検索

学習詳細

学習データセット

json

• データセット: json
• サイズ: 5,822個の学習サンプル
• 列: positive と anchor
• 最初の1000サンプルに基づく近似統計:

  	positive	anchor
  タイプ	string	string
  詳細	最小: 26トークン 平均: 96.76トークン 最大: 156トークン	最小: 8トークン 平均: 16.59トークン 最大: 49トークン

• サンプル:

  positive	anchor
  properly authenticated. See id. at 367, 19 A.3d at 429 (Harrell, J., dissenting). Four years later, in Sublet, 442 Md. at 637-38, 113 A.3d at 697-98, we adopted the reasonable juror test for social media evidence and applied it in the three cases that were consolidated for purposes of the opinion: Sublet v. State, Harris v. State, and Monge-	How many years after the dissent did the adoption of the reasonable juror test occur?
  to (1) a public-interest fee waiver, (2) the expedited processing of a request, or (3) the release of information that implicates personal privacy, all are personal to a requester and thus cannot be assigned. See, e.g., RTC Commercial Loan Trust 1995-NP1A v. Winthrop Mgmt., 923 F. Supp. 83, 88 (E.D. Va. 1996) (holding that “certain rights are purely personal and cannot be assigned”).	What type of fee waiver is mentioned as being personal to a requester?
  ‘IRO’] staff that reviews Agency records and makes public release determinations with an eye toward evaluating directorate-specific equities.” Id. ¶ 4. Ms. Meeks also explains that “records frequently involve the equities of multiple directorates,” and “[w]hen records implicate the operational interests of multiple directorates, the reviews are conducted by the relevant IROs	Who conducts the reviews when the records implicate the operational interests of multiple directorates?

学習ハイパーパラメータ

非デフォルトのハイパーパラメータ

• eval_strategy: epoch
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 16
• learning_rate: 2e-05
• num_train_epochs: 4
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• tf32: False
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

すべてのハイパーパラメータ

学習ログ

太字の行は保存されたチェックポイントを示します。

フレームワークのバージョン

• Python: 3.11.11
• Sentence Transformers: 4.0.1
• Transformers: 4.50.2
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.5.0
• Tokenizers: 0.21.1

📄 ライセンス

このモデルは、apache-2.0ライセンスの下で提供されています。

🔧 技術詳細

損失関数

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

📖 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}