German RAG ModernBERT Base TRIPLES

🚀 ModernBERT-Base

這是一個基於 sentence-transformers 框架，在 avemio/German-RAG-EMBEDDING-TRIPLES-HESSIAN-AI 數據集上對 answerdotai/ModernBERT-base 模型進行微調得到的模型。它可以將句子和段落映射到一個 768 維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

📚 詳細文檔

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 代碼倉庫：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

💻 使用示例

基礎用法

首先安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

然後你可以加載這個模型並進行推理。

from sentence_transformers import SentenceTransformer

# 從 🤗 Hub 下載
model = SentenceTransformer("avemio-digital/ModernBERT_base_triples_embedding")
# 進行推理
sentences = [
    'Wieso verklagte die Familie von Ritter die behandelnden Ärzte auf 67 Millionen US-Dollar Schadensersatz?',
    'Während Proben zu einer Folge von "Meine wilden Töchter" traten bei Ritter im September 2003 starke Brustschmerzen auf, und er begab sich in das nahegelegene "Providence Saint Joseph Medical Center", in dem er am 11. September 2003 im Alter von 54 Jahren – eine Woche vor seinem 55. Geburtstag – an einer Aortendissektion starb. Seine Familie verklagte Anfang 2008 die behandelnden Ärzte auf einen Schadensersatz von 67 Millionen US-Dollar. Die Klage wurde im März 2008 abgewiesen.',
    'Nach der Einstellung der Fernsehserie "Herzbube mit zwei Damen" nach acht Staffeln im Jahr 1984 machte er mit dem Spin-off "Three’s A Crowd" weiter, jedoch wurde die Serie nach einer Staffel eingestellt. Weitere Fernsehrollen hatte er in "Inspektor Hooperman" (1987), die ihm eine Nominierung sowohl für den Golden Globe als auch für den Emmy einbrachte, "Küß’ mich, John" (1992), "Ally McBeal" (1997), "Buffy – Im Bann der Dämonen" (1997), "Clifford the Big Red Dog" (2000), "Scrubs – Die Anfänger" oder "Meine wilden Töchter" (2002).',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📊 評估

指標

信息檢索

• 數據集：dim_768
• 使用 InformationRetrievalEvaluator 進行評估

🔧 技術細節

訓練數據集

json

• 數據集：json
• 大小：264,810 個訓練樣本
• 列：anchor、positive 和 negative
• 基於前 1000 個樣本的近似統計信息：

  	anchor	positive	negative
  類型	字符串	字符串	字符串
  詳情	最小值：28 個詞元 平均值：54.52 個詞元 最大值：307 個詞元	最小值：30 個詞元 平均值：184.58 個詞元 最大值：1293 個詞元	最小值：33 個詞元 平均值：151.69 個詞元 最大值：1297 個詞元

• 樣本：

  anchor	positive	negative
  原文中未給出完整表格內容，此處無法準確翻譯	原文中未給出完整表格內容，此處無法準確翻譯	原文中未給出完整表格內容，此處無法準確翻譯

📄 許可證

本模型使用的許可證為 apache-2.0。