Scincl

🚀 SciNCL

SciNCL是一個預訓練的BERT語言模型，用於生成研究論文的文檔級嵌入向量。它利用引用圖鄰域生成樣本進行對比學習。在對比訓練之前，該模型使用來自scibert - scivocab - uncased的權重進行初始化。底層的引用嵌入向量是在S2ORC引用圖上進行訓練的。

論文：Neighborhood Contrastive Learning for Scientific Document Representations with Citation Embeddings (EMNLP 2022 paper)。

代碼：https://github.com/malteos/scincl

PubMedNCL：如果處理生物醫學論文，可以嘗試使用PubMedNCL。

🚀 快速開始

✨ 主要特性

• 基於預訓練的BERT模型，可生成研究論文的文檔級嵌入向量。
• 利用引用圖鄰域進行對比學習。
• 模型初始化使用了預訓練的scibert - scivocab - uncased權重。

📦 安裝指南

文檔未提及安裝步驟，跳過此章節。

💻 使用示例

基礎用法

使用Sentence Transformers庫調用預訓練模型：

from sentence_transformers import SentenceTransformer

# Load the model
model = SentenceTransformer("malteos/scincl")

# Concatenate the title and abstract with the [SEP] token
papers = [
    "BERT [SEP] We introduce a new language representation model called BERT",
    "Attention is all you need [SEP] The dominant sequence transduction models are based on complex recurrent or convolutional neural networks",
]
# Inference
embeddings = model.encode(papers)

# Compute the (cosine) similarity between embeddings
similarity = model.similarity(embeddings[0], embeddings[1])
print(similarity.item())
# => 0.8440517783164978

高級用法

使用Transformers庫調用預訓練模型：

from transformers import AutoTokenizer, AutoModel

# load model and tokenizer
tokenizer = AutoTokenizer.from_pretrained('malteos/scincl')
model = AutoModel.from_pretrained('malteos/scincl')

papers = [{'title': 'BERT', 'abstract': 'We introduce a new language representation model called BERT'},
          {'title': 'Attention is all you need', 'abstract': ' The dominant sequence transduction models are based on complex recurrent or convolutional neural networks'}]

# concatenate title and abstract with [SEP] token
title_abs = [d['title'] + tokenizer.sep_token + (d.get('abstract') or '') for d in papers]

# preprocess the input
inputs = tokenizer(title_abs, padding=True, truncation=True, return_tensors="pt", max_length=512)

# inference
result = model(**inputs)

# take the first token ([CLS] token) in the batch as the embedding
embeddings = result.last_hidden_state[:, 0, :]

# calculate the similarity
embeddings = torch.nn.functional.normalize(embeddings, p=2, dim=1)
similarity = (embeddings[0] @ embeddings[1].T)
print(similarity.item())
# => 0.8440518379211426

📚 詳細文檔

三元組挖掘參數

SciDocs結果

這些模型權重是在SciDocs上取得最佳結果的權重（seed = 4）。在論文中，我們報告的SciDocs結果是十個隨機種子的平均值。

論文中提供了更多的評估結果。

📄 許可證

本項目採用MIT許可證。