Modernbert Base Hu V3

🚀 ModernBERT-base

このモデルは、sentence-transformers を使用して nomic-ai/modernbert-embed-base から json データセットでファインチューニングされたものです。文章や段落を 768 次元の密ベクトル空間にマッピングし、意味的な文章類似度、意味検索、パラフレーズマイニング、テキスト分類、クラスタリングなどに使用できます。

🚀 クイックスタート

このモデルは、文章や段落を 768 次元の密ベクトル空間にマッピングすることができ、様々な自然言語処理タスクに利用できます。以下に使用方法の概要を示します。

✨ 主な機能

• 文章や段落を 768 次元の密ベクトル空間にマッピングすることができます。
• 意味的な文章類似度、意味検索、パラフレーズマイニング、テキスト分類、クラスタリングなどのタスクに使用できます。

📦 インストール

まず、Sentence Transformers ライブラリをインストールします。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

次に、このモデルをロードして推論を実行することができます。

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("karsar/ModernBERT-base-hu_v3")
# Run inference
sentences = [
    'a sellő szindróma genetikai okai',
    'Rfcamat válasza. Bizalom szavazat: 459. Ha sellő-szindrómásod van, akkor vele születtél volna, és inkább hasadt volna a lábad, vagy mindkettőt amputálták volna. A sellőszindróma oka a test alsó részének (lábainak) oxigén- és tápanyaghiánya a keringési rendszer problémája miatt.További információ az alábbi linken.a sellő szindrómát nem kaphatja meg. Ez egy veleszületett állapot, ami azt jelenti, hogy vele kell születned ahhoz, hogy meglegyen. A betegségben szenvedő személy nem sellő, csak arról van szó, hogy a lábai összeforrtak. Számos belső szerv hiányzik vagy deformálódott.',
    '1 A sellő-szindróma annak a következménye is lehet, hogy az anya sugárzásnak és más környezeti hatásoknak van kitéve, amelyek a magzat normális fejlődésében részt vevő gének mutációit okozták. 2 Spontán mutációk vagy a magzatban természetesen előforduló mutációk is okozhatták a születési rendellenességet. Kutatásokra van szükség ahhoz, hogy kiderítsük a sellőszindróma genetikai, biológiai vagy környezeti okait. A sellő szindróma kezelése. Ha a két láb csak a bőrön keresztül olvadt össze, és a három fő csont teljesen és megfelelően kialakult, műtétet alkalmaznak a két láb szétválasztására.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 ドキュメント

モデルの詳細

モデルの説明

モデルのソース

• ドキュメント: Sentence Transformers Documentation
• リポジトリ: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評価

指標

Triplet

• データセット: all-triplet-dev と all-triplet-test
• TripletEvaluator で評価

学習の詳細

学習データセット

json

• データセット: json
• サイズ: 1,207,229 個の学習サンプル
• 列: anchor、positive、および negative
• 最初の 1000 サンプルに基づく概算統計:

  	anchor	positive	negative
  タイプ	string	string	string
  詳細	最小: 5 トークン 平均: 27.76 トークン 最大: 159 トークン	最小: 6 トークン 平均: 106.31 トークン 最大: 449 トークン	最小: 6 トークン 平均: 104.18 トークン 最大: 452 トークン

• サンプル:

  anchor	positive	negative
  Megfordult, és előhúzta a kardját.	A kard megrajzolták.	A férfi ott hagyta a kardját, ahol volt.
  Egy férfi, aki egy betonfalnak támaszkodik, karjait felül támasztja, az erkélyre néz.	Egy férfi a falnak támaszkodik.	Egy férfi egy fafalnak támaszkodik.
  A nő a szabadban van.	Nő egy ruhában sétál át a hídon.	Egy nő a levegőben lévő lábával harcművészeti mozdulatot hajt végre egy edzőteremben, miközben öt csapattársa vagy versenyzője néz rá.

• 損失関数: MultipleNegativesRankingLoss と以下のパラメータ:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

評価データセット

json

• データセット: json
• サイズ: 1,207,229 個の評価サンプル
• 列: anchor、positive、および negative
• 最初の 1000 サンプルに基づく概算統計:

  	anchor	positive	negative
  タイプ	string	string	string
  詳細	最小: 5 トークン 平均: 28.27 トークン 最大: 150 トークン	最小: 4 トークン 平均: 108.14 トークン 最大: 479 トークン	最小: 7 トークン 平均: 103.64 トークン 最大: 431 トークン

• サンプル:

  anchor	positive	negative
  Az emberek nézik, amint egy zenész gitározik.	egy gitáros játszik az embereknek	Az emberek egy autóroncsot néznek.
  hány csepp van egy ml-ben	Egy szabványos szemcseppentő 0,05 ml-t adagol cseppenként, ami azt jelenti, hogy 1 milliliter gyógyszerben 20 csepp van. Számoljuk ki: egy 5 ml-es üvegben 100, a 10 ml-es üvegben 200 adag van. (A legtöbb szemcsepp receptet 5 vagy 10 ml-es üvegekben adják ki.) A párolgás nem jelent nagy problémát, ha a kupakot minden alkalmazás után vissza kell cserélni. 30 napos hónapra számítva a napi egyszeri cseppek és a napi kétszeri cseppek egy 5 ml-es üvegben könnyen kitartanak egy hónapig. Egy 10 ml-es palack általában nagyobb adagok befogadására alkalmas. Íme, egy utolsó tipp.	Körülbelül 15-20 csepp van egy ml-ben. A folyadék viszkozitása megváltoztatja ezt a választ. Gondolhatja, hogy egy 5 ml-es üvegben 80-100 csepp van.
  a szövetségi tartalékot milyen jogszabály hozta létre	Az „1913. évi Federal Reserve Act” MEGHATÁROZÁSA. Az 1913-as amerikai törvényhozás, amely létrehozta a jelenlegi Federal Reserve System-et. A Federal Reserve Act a gazdasági stabilitás egy formáját kívánta megteremteni a monetáris politikáért felelős Központi Bank bevezetésével az Egyesült Államokba. Az 1913-as amerikai törvényhozás, amely	Az 1913. évi Federal Reserve Act

📄 ライセンス

このモデルは apache-2.0 ライセンスの下で提供されています。