Scincl

🚀 SciNCL

SciNCLは、研究論文のドキュメントレベルの埋め込みベクトルを生成するための事前学習済みのBERT言語モデルです。引用グラフの近傍を利用してサンプルを生成し、対照学習を行います。対照学習の前に、このモデルはscibert - scivocab - uncasedの重みを使用して初期化されます。基礎となる引用埋め込みベクトルはS2ORC引用グラフ上で学習されています。

論文：Neighborhood Contrastive Learning for Scientific Document Representations with Citation Embeddings (EMNLP 2022 paper)。

コード：https://github.com/malteos/scincl

PubMedNCL：生物医学論文を扱う場合は、PubMedNCLを試してみることができます。

🚀 クイックスタート

✨ 主な機能

• 事前学習済みのBERTモデルに基づいて、研究論文のドキュメントレベルの埋め込みベクトルを生成できます。
• 引用グラフの近傍を利用して対照学習を行います。
• モデルの初期化には事前学習済みのscibert - scivocab - uncasedの重みが使用されています。

💻 使用例

基本的な使用法

Sentence Transformersライブラリを使用して事前学習済みモデルを呼び出す：

from sentence_transformers import SentenceTransformer

# Load the model
model = SentenceTransformer("malteos/scincl")

# Concatenate the title and abstract with the [SEP] token
papers = [
    "BERT [SEP] We introduce a new language representation model called BERT",
    "Attention is all you need [SEP] The dominant sequence transduction models are based on complex recurrent or convolutional neural networks",
]
# Inference
embeddings = model.encode(papers)

# Compute the (cosine) similarity between embeddings
similarity = model.similarity(embeddings[0], embeddings[1])
print(similarity.item())
# => 0.8440517783164978

高度な使用法

Transformersライブラリを使用して事前学習済みモデルを呼び出す：

from transformers import AutoTokenizer, AutoModel

# load model and tokenizer
tokenizer = AutoTokenizer.from_pretrained('malteos/scincl')
model = AutoModel.from_pretrained('malteos/scincl')

papers = [{'title': 'BERT', 'abstract': 'We introduce a new language representation model called BERT'},
          {'title': 'Attention is all you need', 'abstract': ' The dominant sequence transduction models are based on complex recurrent or convolutional neural networks'}]

# concatenate title and abstract with [SEP] token
title_abs = [d['title'] + tokenizer.sep_token + (d.get('abstract') or '') for d in papers]

# preprocess the input
inputs = tokenizer(title_abs, padding=True, truncation=True, return_tensors="pt", max_length=512)

# inference
result = model(**inputs)

# take the first token ([CLS] token) in the batch as the embedding
embeddings = result.last_hidden_state[:, 0, :]

# calculate the similarity
embeddings = torch.nn.functional.normalize(embeddings, p=2, dim=1)
similarity = (embeddings[0] @ embeddings[1].T)
print(similarity.item())
# => 0.8440518379211426

📚 ドキュメント

三元組マイニングパラメータ

SciDocsの結果

これらのモデルの重みは、SciDocsで最良の結果を得た重み（seed = 4）です。論文では、SciDocsの結果として10個のランダムシードの平均値を報告しています。

論文には、より多くの評価結果が記載されています。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。