Eridu

🚀 Graphlet-AI/eridu

Graphlet-AI/eridu 是一個基於表徵學習的多語言實體解析模型，用於人名和公司名的深度模糊匹配。它比傳統的字符串距離方法效果更好，能跨語言和字符集匹配人名和公司名。

🚀 快速開始

安裝依賴

首先需要安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

加載模型並進行推理

from sentence_transformers import SentenceTransformer

# 從 Hugging Face Hub 下載模型
model = SentenceTransformer("Graphlet-AI/eridu")
# 運行推理
sentences = [
    'Schori i Lidingö',
    'Yordan Canev',
    'ကားပေါ့ အန်နာတိုလီ',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 深度模糊匹配：利用表徵學習，實現人名和公司名的深度模糊匹配，效果優於傳統字符串距離方法。
• 多語言支持：能夠跨語言和字符集進行人名和公司名的匹配。
• 易於使用：可以使用 Sentence Transformers 庫在五行代碼內完成模型的加載和推理。

📦 安裝指南

安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從 Hugging Face Hub 下載模型
model = SentenceTransformer("Graphlet-AI/eridu")

names = [
    "Russell Jurney",
    "Russ Jurney",
    "–†—É—Å—Å –î–∂–µ—Ä–Ω–∏",
]

embeddings = model.encode(names)
print(embeddings.shape)
# [3, 384]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

print(similarities.numpy())
# [[0.9999999  0.99406826 0.99406105]
#  [0.9940683  1.         0.9969202 ]
#  [0.99406105 0.9969202  1.        ]]

📚 詳細文檔

模型詳情

項目概述

該項目是一個基於表徵學習的人名和公司名深度模糊匹配系統，用於實體解析。它使用 HuggingFace 的預訓練文本嵌入模型，並在 Open Sanctions Matcher 訓練數據 上進行對比學習微調，以實現跨語言和字符集的人名和公司名匹配。

模型描述

模型來源

• 文檔：Graphlet-AI/eridu Documentation
• 代碼倉庫：Graphlet-AI/eridu on GitHub
• Hugging Face：Graphlet-AI/eridu on Hugging Face
• PyPi 包：Graphlet-AI/eridu on PyPi

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

評估

指標

二分類

• 數據集：sentence-transformers-paraphrase-multilingual-MiniLM-L12-v2
• 使用 BinaryClassificationEvaluator 進行評估

訓練詳情

訓練數據集

• 未命名數據集
  • 大小：2,130,621 個訓練樣本
  • 列：sentence1、sentence2 和 label
  • 基於前 1000 個樣本的近似統計信息： | | sentence1 | sentence2 | label | | ---- | ---- | ---- | ---- | | 類型 | 字符串 | 字符串 | 浮點數 | | 詳情 |
    • 最小：3 個詞元
    • 平均：9.32 個詞元
    • 最大：57 個詞元
    |
    • 最小：3 個詞元
    • 平均：9.16 個詞元
    • 最大：54 個詞元
    |
    • 最小：0.0
    • 平均：0.34
    • 最大：1.0
    |
  • 樣本： | sentence1 | sentence2 | label | | ---- | ---- | ---- | | 캐스린 설리번 | Kathryn D. Sullivanov√° | 1.0 | | ଶିବରାଜ ଅଧାଲରାଓ ପାଟିଲ | Aleksander Lubocki | 0.0 | | –ü—ã—Ä–≤–∞–Ω–æ–≤, –ì–µ–æ—Ä–≥–∏ | アナトーリー・セルジュコフ | 0.0 |
  • 損失函數：ContrastiveLoss，參數如下：

{
    "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
    "margin": 0.5,
    "size_average": true
}

評估數據集

• 未命名數據集
  • 大小：2,663,276 個評估樣本
  • 列：sentence1、sentence2 和 label
  • 基於前 1000 個樣本的近似統計信息： | | sentence1 | sentence2 | label | | ---- | ---- | ---- | ---- | | 類型 | 字符串 | 字符串 | 浮點數 | | 詳情 |
    • 最小：3 個詞元
    • 平均：9.34 個詞元
    • 最大：102 個詞元
    |
    • 最小：4 個詞元
    • 平均：9.11 個詞元
    • 最大：100 個詞元
    |
    • 最小：0.0
    • 平均：0.33
    • 最大：1.0
    |
  • 樣本： | sentence1 | sentence2 | label | | ---- | ---- | ---- | | –ï–≤–∞ –•–µ—Ä–º–∞–Ω | I Xuan Karlos | 0.0 | | –ö–ª–∏—á–∫–æ–≤ –ê–Ω–¥—Ä—ñ–π –Ñ–≤–≥–µ–Ω–æ–≤–∏—á | –ê–Ω–¥—Ä—ç–π –Ø—û–≥–µ–Ω–∞–≤—ñ—á –ö–ª—ã—á–∫–æ—û | 1.0 | | –ö–∏–Ω–∞—Ö –ê. | Senator John Hickenlooper | 0.0 |
  • 損失函數：ContrastiveLoss，參數如下：

{
    "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
    "margin": 0.5,
    "size_average": true
}

訓練超參數

非默認超參數

• eval_strategy: steps
• per_device_train_batch_size: 1000
• per_device_eval_batch_size: 1000
• gradient_accumulation_steps: 4
• learning_rate: 3e-05
• weight_decay: 0.01
• num_train_epochs: 8
• warmup_ratio: 0.1
• fp16_opt_level: O0
• load_best_model_at_end: True
• optim: adafactor

所有超參數

訓練日誌

框架版本

• Python: 3.12.9
• Sentence Transformers: 3.4.1
• Transformers: 4.51.3
• PyTorch: 2.7.0+cu126
• Accelerate: 1.6.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

📄 許可證

本項目採用 apache-2.0 許可證。

📚 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
    title={Dimensionality Reduction by Learning an Invariant Mapping},
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}