PEG

🚀 PEG：基於漸進學習的魯棒文本檢索模型

PEG模型（漸進學習文本嵌入模型）能夠根據負樣本的難度級別，在超大批次內逐步調整對損失有貢獻的樣本權重。該模型擁有超過1.1億條數據，涵蓋了常識、金融、旅遊、醫學等多個領域。

🚀 快速開始

安裝依賴

pip install transformers

加載模型並進行預測

from transformers import AutoModel, AutoTokenizer
import torch

# 從HuggingFace Hub加載模型
tokenizer = AutoTokenizer.from_pretrained('TownsWu/PEG')
model = AutoModel.from_pretrained('TownsWu/PEG')
sentences = ['如何更換花唄綁定銀行卡', '花唄更改綁定銀行卡']
# 對句子進行分詞
inputs = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# 計算詞嵌入
with torch.no_grad():
    last_hidden_state = model(**inputs, return_dict=True).last_hidden_state
    embeddings = last_hidden_state[:, 0]
print("embeddings:")
print(embeddings)

✨ 主要特性

• 漸進學習機制：PEG模型根據負樣本的難度級別，在超大批次內逐步調整對損失有貢獻的樣本權重，從而實現更高效的學習。
• 多領域數據支持：模型擁有超過1.1億條數據，涵蓋了常識、金融、旅遊、醫學等多個領域，具有廣泛的適用性。

📦 安裝指南

安裝transformers庫：

pip install transformers

💻 使用示例

基礎用法

from transformers import AutoModel, AutoTokenizer
import torch

# 從HuggingFace Hub加載模型
tokenizer = AutoTokenizer.from_pretrained('TownsWu/PEG')
model = AutoModel.from_pretrained('TownsWu/PEG')
sentences = ['如何更換花唄綁定銀行卡', '花唄更改綁定銀行卡']
# 對句子進行分詞
inputs = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# 計算詞嵌入
with torch.no_grad():
    last_hidden_state = model(**inputs, return_dict=True).last_hidden_state
    embeddings = last_hidden_state[:, 0]
print("embeddings:")
print(embeddings)

📚 詳細文檔

模型詳情

我們提出了PEG模型（漸進學習文本嵌入模型），該模型根據負樣本的難度級別，在超大批次內逐步調整對損失有貢獻的樣本權重。我們收集了超過1.1億條數據，涵蓋了常識、金融、旅遊、醫學等多個領域。

我們的技術報告可在論文鏈接查看。

聯繫我們

如果您對本項目有任何問題或建議，請隨時提交issue或pull request。您也可以通過電子郵件聯繫Tong Wu（townswu@tencent.com）。

引用信息

如果您認為我們的工作對您的研究有幫助，請考慮引用以下BibTeX條目：

@article{wu2023towards,
  title={Towards Robust Text Retrieval with Progressive Learning},
  author={Wu, Tong and Qin, Yulei and Zhang, Enwei and Xu, Zihan and Gao, Yuting and Li, Ke and Sun, Xing},
  journal={arXiv preprint arXiv:2311.11691},
  year={2023}
}

🔧 技術細節

PEG模型基於漸進學習的思想，在訓練過程中根據負樣本的難度級別動態調整樣本權重。通過這種方式，模型能夠更好地處理複雜的文本檢索任務，提高檢索的準確性和魯棒性。

📄 許可證

本項目採用Apache-2.0許可證。

📊 模型指標