PEG

🚀 PEG：基于渐进学习的鲁棒文本检索模型

PEG模型（渐进学习文本嵌入模型）能够根据负样本的难度级别，在超大批次内逐步调整对损失有贡献的样本权重。该模型拥有超过1.1亿条数据，涵盖了常识、金融、旅游、医学等多个领域。

🚀 快速开始

安装依赖

pip install transformers

加载模型并进行预测

from transformers import AutoModel, AutoTokenizer
import torch

# 从HuggingFace Hub加载模型
tokenizer = AutoTokenizer.from_pretrained('TownsWu/PEG')
model = AutoModel.from_pretrained('TownsWu/PEG')
sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银行卡']
# 对句子进行分词
inputs = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# 计算词嵌入
with torch.no_grad():
    last_hidden_state = model(**inputs, return_dict=True).last_hidden_state
    embeddings = last_hidden_state[:, 0]
print("embeddings:")
print(embeddings)

✨ 主要特性

• 渐进学习机制：PEG模型根据负样本的难度级别，在超大批次内逐步调整对损失有贡献的样本权重，从而实现更高效的学习。
• 多领域数据支持：模型拥有超过1.1亿条数据，涵盖了常识、金融、旅游、医学等多个领域，具有广泛的适用性。

📦 安装指南

安装transformers库：

pip install transformers

💻 使用示例

基础用法

from transformers import AutoModel, AutoTokenizer
import torch

# 从HuggingFace Hub加载模型
tokenizer = AutoTokenizer.from_pretrained('TownsWu/PEG')
model = AutoModel.from_pretrained('TownsWu/PEG')
sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银行卡']
# 对句子进行分词
inputs = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# 计算词嵌入
with torch.no_grad():
    last_hidden_state = model(**inputs, return_dict=True).last_hidden_state
    embeddings = last_hidden_state[:, 0]
print("embeddings:")
print(embeddings)

📚 详细文档

模型详情

我们提出了PEG模型（渐进学习文本嵌入模型），该模型根据负样本的难度级别，在超大批次内逐步调整对损失有贡献的样本权重。我们收集了超过1.1亿条数据，涵盖了常识、金融、旅游、医学等多个领域。

我们的技术报告可在论文链接查看。

联系我们

如果您对本项目有任何问题或建议，请随时提交issue或pull request。您也可以通过电子邮件联系Tong Wu（townswu@tencent.com）。

引用信息

如果您认为我们的工作对您的研究有帮助，请考虑引用以下BibTeX条目：

@article{wu2023towards,
  title={Towards Robust Text Retrieval with Progressive Learning},
  author={Wu, Tong and Qin, Yulei and Zhang, Enwei and Xu, Zihan and Gao, Yuting and Li, Ke and Sun, Xing},
  journal={arXiv preprint arXiv:2311.11691},
  year={2023}
}

🔧 技术细节

PEG模型基于渐进学习的思想，在训练过程中根据负样本的难度级别动态调整样本权重。通过这种方式，模型能够更好地处理复杂的文本检索任务，提高检索的准确性和鲁棒性。

📄 许可证

本项目采用Apache-2.0许可证。

📊 模型指标