Word Order Jina

🚀 jinaai/jina-embeddings-v2-base-enをベースとしたSentenceTransformer

このモデルは、sentence-transformersを使用して、jinaai/jina-embeddings-v2-base-en を word_orders と negation_dataset のデータセットでファインチューニングしたものです。文章や段落を768次元の密ベクトル空間にマッピングし、意味的な文章の類似性、意味検索、言い換えのマイニング、テキスト分類、クラスタリングなどに使用できます。

🚀 クイックスタート

このモデルは、文章や段落を768次元の密ベクトル空間にマッピングすることができ、様々な自然言語処理タスクに利用できます。以下のセクションでは、モデルの詳細、使用方法、トレーニングの詳細について説明します。

✨ 主な機能

• 文章や段落を768次元の密ベクトル空間にマッピングすることができます。
• 意味的な文章の類似性、意味検索、言い換えのマイニング、テキスト分類、クラスタリングなどに使用できます。

📦 インストール

まず、Sentence Transformersライブラリをインストールします。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

# 🤗 Hubからダウンロード
model = SentenceTransformer("bwang0911/word-order-jina")
# 推論を実行
sentences = [
    'Paint preserves wood',
    'Coating protects timber',
    'timber coating protects',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 埋め込みベクトルの類似度スコアを取得
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 ドキュメント

モデルの詳細

モデルの説明

モデルのソース

• ドキュメント: Sentence Transformers Documentation
• リポジトリ: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: JinaBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

🔧 技術詳細

トレーニングデータセット

word_orders

• データセット: word_orders at 99609ac
• サイズ: 1,002個のトレーニングサンプル
• 列: anchor、pos、neg
• 最初の1000サンプルに基づく概算統計:

  	anchor	pos	neg
  タイプ	string	string	string
  詳細	最小: 5トークン 平均: 12.34トークン 最大: 32トークン	最小: 5トークン 平均: 12.1トークン 最大: 30トークン	最小: 5トークン 平均: 11.51トークン 最大: 24トークン

• サンプル:

  anchor	pos	neg
  The river flows from the mountains to the sea	Water travels from mountain peaks to ocean	The river flows from the sea to the mountains
  Train departs London for Paris	Railway journey from London heading to Paris	Train departs Paris for London
  Cargo ship sails from Shanghai to Singapore	Maritime route Shanghai to Singapore	Cargo ship sails from Singapore to Shanghai

• 損失関数: MultipleNegativesRankingLoss 以下のパラメータで:

  {
      "scale": 20,
      "similarity_fct": "cos_sim"
  }
  

negation_dataset

• データセット: negation_dataset at cd02256
• サイズ: 10,000個のトレーニングサンプル
• 列: anchor、entailment、negative
• 最初の1000サンプルに基づく概算統計:

  	anchor	entailment	negative
  タイプ	string	string	string
  詳細	最小: 6トークン 平均: 16.48トークン 最大: 44トークン	最小: 4トークン 平均: 9.63トークン 最大: 31トークン	最小: 5トークン 平均: 10.46トークン 最大: 32トークン

• サンプル:

  anchor	entailment	negative
  Two young girls are playing outside in a non-urban environment.	Two girls are playing outside.	Two girls are not playing outside.
  A man with a red shirt is watching another man who is standing on top of a attached cart filled to the top.	A man is standing on top of a cart.	A man is not standing on top of a cart.
  A man in a blue shirt driving a Segway type vehicle.	A person is riding a motorized vehicle.	A person is not riding a motorized vehicle.

• 損失関数: MultipleNegativesRankingLoss 以下のパラメータで:

  {
      "scale": 20,
      "similarity_fct": "cos_sim"
  }
  

トレーニングハイパーパラメータ

非デフォルトのハイパーパラメータ

• per_device_train_batch_size: 128
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

すべてのハイパーパラメータ

トレーニングログ