Abstract Sim Sentence Pubmed

🚀 抽象句子匹配模型

本模型用于将抽象句子描述映射到符合该描述的句子。它基于Pubmed语料库中的句子进行训练。你可以使用load_finetuned_model函数来加载查询和句子编码器，并使用encode_batch()函数对句子进行编码。

🚀 快速开始

加载模型

from transformers import AutoTokenizer, AutoModel
import torch

def load_finetuned_model():
    sentence_encoder = AutoModel.from_pretrained("biu-nlp/abstract-sim-sentence-pubmed", revision="71f4539120e29024adc618173a1ed5fd230ac249")
    query_encoder = AutoModel.from_pretrained("biu-nlp/abstract-sim-query-pubmed", revision="8d34676d80a39bcbc5a1d2eec13e6f8078496215")
    tokenizer = AutoTokenizer.from_pretrained("biu-nlp/abstract-sim-sentence-pubmed")
    return tokenizer, query_encoder, sentence_encoder

对句子进行编码

def encode_batch(model, tokenizer, sentences, device):
    input_ids = tokenizer(sentences, padding=True, max_length=128, truncation=True, return_tensors="pt",
                          add_special_tokens=True).to(device)
    features = model(**input_ids)[0]

    features =  torch.sum(features[:,:,:] * input_ids["attention_mask"][:,:].unsqueeze(-1), dim=1) / torch.clamp(torch.sum(input_ids["attention_mask"][:,:], dim=1, keepdims=True), min=1e-9)

    return features

✨ 主要特性

• 特征提取：能够从句子中提取有用的特征。
• PubMed适配：基于PubMed语料库训练，适用于医学相关的句子匹配任务。
• 句子相似度计算：可用于计算句子之间的相似度。

📦 安装指南

文档未提及安装步骤，因此跳过此章节。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModel
import torch

def load_finetuned_model():
    sentence_encoder = AutoModel.from_pretrained("biu-nlp/abstract-sim-sentence-pubmed", revision="71f4539120e29024adc618173a1ed5fd230ac249")
    query_encoder = AutoModel.from_pretrained("biu-nlp/abstract-sim-query-pubmed", revision="8d34676d80a39bcbc5a1d2eec13e6f8078496215")
    tokenizer = AutoTokenizer.from_pretrained("biu-nlp/abstract-sim-sentence-pubmed")
    return tokenizer, query_encoder, sentence_encoder

def encode_batch(model, tokenizer, sentences, device):
    input_ids = tokenizer(sentences, padding=True, max_length=128, truncation=True, return_tensors="pt",
                          add_special_tokens=True).to(device)
    features = model(**input_ids)[0]

    features =  torch.sum(features[:,:,:] * input_ids["attention_mask"][:,:].unsqueeze(-1), dim=1) / torch.clamp(torch.sum(input_ids["attention_mask"][:,:], dim=1, keepdims=True), min=1e-9)

    return features

高级用法

文档未提及高级用法相关内容，因此跳过此部分。

📚 详细文档

文档未提供详细说明，因此跳过此章节。

🔧 技术细节

文档未提供技术实现细节，因此跳过此章节。

📄 许可证

文档未提供许可证信息，因此跳过此章节。