Abstract Sim Sentence Pubmed

🚀 抽象文書マッピングモデル

このモデルは、抽象的な文の記述を、その記述に合致する文にマッピングするためのものです。PubMedの文を用いて学習されています。load_finetuned_model を使ってクエリと文のエンコーダを読み込み、encode_batch() を使ってモデルで文をエンコードすることができます。

🚀 クイックスタート

このモデルは、抽象的な文書の記述を、それに合致する文にマッピングするために使用されます。PubMedの文を用いて学習されています。

✨ 主な機能

• 抽象的な文書の記述を、それに合致する文にマッピングする機能
• Pubmedの文を用いた学習済みモデル

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel
import torch

def load_finetuned_model():


        sentence_encoder = AutoModel.from_pretrained("biu-nlp/abstract-sim-sentence-pubmed", revision="71f4539120e29024adc618173a1ed5fd230ac249")
        query_encoder = AutoModel.from_pretrained("biu-nlp/abstract-sim-query-pubmed", revision="8d34676d80a39bcbc5a1d2eec13e6f8078496215")
        tokenizer = AutoTokenizer.from_pretrained("biu-nlp/abstract-sim-sentence-pubmed")
        return tokenizer, query_encoder, sentence_encoder


def encode_batch(model, tokenizer, sentences, device):
    input_ids = tokenizer(sentences, padding=True, max_length=128, truncation=True, return_tensors="pt",
                          add_special_tokens=True).to(device)
    features = model(**input_ids)[0]

    features =  torch.sum(features[:,:,:] * input_ids["attention_mask"][:,:].unsqueeze(-1), dim=1) / torch.clamp(torch.sum(input_ids["attention_mask"][:,:], dim=1, keepdims=True), min=1e-9)

    return features

高度な使用法

このREADMEには高度な使用法の具体的な説明が記載されていないため、このセクションは省略されます。

📚 ドキュメント

このREADMEには詳細な説明が記載されていないため、このセクションは省略されます。

🔧 技術詳細

このREADMEには技術的な詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このREADMEにはライセンス情報が記載されていないため、このセクションは省略されます。