Abstract Sim Sentence Pubmed

🚀 抽象句子匹配模型

本模型用於將抽象句子描述映射到符合該描述的句子。它基於Pubmed語料庫中的句子進行訓練。你可以使用load_finetuned_model函數來加載查詢和句子編碼器，並使用encode_batch()函數對句子進行編碼。

🚀 快速開始

加載模型

from transformers import AutoTokenizer, AutoModel
import torch

def load_finetuned_model():
    sentence_encoder = AutoModel.from_pretrained("biu-nlp/abstract-sim-sentence-pubmed", revision="71f4539120e29024adc618173a1ed5fd230ac249")
    query_encoder = AutoModel.from_pretrained("biu-nlp/abstract-sim-query-pubmed", revision="8d34676d80a39bcbc5a1d2eec13e6f8078496215")
    tokenizer = AutoTokenizer.from_pretrained("biu-nlp/abstract-sim-sentence-pubmed")
    return tokenizer, query_encoder, sentence_encoder

對句子進行編碼

def encode_batch(model, tokenizer, sentences, device):
    input_ids = tokenizer(sentences, padding=True, max_length=128, truncation=True, return_tensors="pt",
                          add_special_tokens=True).to(device)
    features = model(**input_ids)[0]

    features =  torch.sum(features[:,:,:] * input_ids["attention_mask"][:,:].unsqueeze(-1), dim=1) / torch.clamp(torch.sum(input_ids["attention_mask"][:,:], dim=1, keepdims=True), min=1e-9)

    return features

✨ 主要特性

• 特徵提取：能夠從句子中提取有用的特徵。
• PubMed適配：基於PubMed語料庫訓練，適用於醫學相關的句子匹配任務。
• 句子相似度計算：可用於計算句子之間的相似度。

📦 安裝指南

文檔未提及安裝步驟，因此跳過此章節。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel
import torch

def load_finetuned_model():
    sentence_encoder = AutoModel.from_pretrained("biu-nlp/abstract-sim-sentence-pubmed", revision="71f4539120e29024adc618173a1ed5fd230ac249")
    query_encoder = AutoModel.from_pretrained("biu-nlp/abstract-sim-query-pubmed", revision="8d34676d80a39bcbc5a1d2eec13e6f8078496215")
    tokenizer = AutoTokenizer.from_pretrained("biu-nlp/abstract-sim-sentence-pubmed")
    return tokenizer, query_encoder, sentence_encoder

def encode_batch(model, tokenizer, sentences, device):
    input_ids = tokenizer(sentences, padding=True, max_length=128, truncation=True, return_tensors="pt",
                          add_special_tokens=True).to(device)
    features = model(**input_ids)[0]

    features =  torch.sum(features[:,:,:] * input_ids["attention_mask"][:,:].unsqueeze(-1), dim=1) / torch.clamp(torch.sum(input_ids["attention_mask"][:,:], dim=1, keepdims=True), min=1e-9)

    return features

高級用法

文檔未提及高級用法相關內容，因此跳過此部分。

📚 詳細文檔

文檔未提供詳細說明，因此跳過此章節。

🔧 技術細節

文檔未提供技術實現細節，因此跳過此章節。

📄 許可證

文檔未提供許可證信息，因此跳過此章節。