Biomednlp PubMedBERT Base Uncased Abstract Fulltext Finetuned Mnli

🚀 BiomedNLP - PubMedBERT在文本蘊含任務（NLI）上微調

本模型是在MNLI數據集上對microsoft/BiomedNLP - PubMedBERT - base - uncased - abstract - fulltext進行微調得到的。它在涉及生物醫學語料的文本蘊含任務中應該會很有用。

🚀 快速開始

本模型是基於Transformer架構的文本蘊含模型，可用於判斷生物醫學文本之間的邏輯關係。

✨ 主要特性

• 基於預訓練的BiomedNLP - PubMedBERT模型，在MNLI數據集上進行微調，適用於生物醫學領域的文本蘊含任務。
• 能夠輸出文本之間蘊含、中立或矛盾關係的概率。

📦 安裝指南

使用該模型需要安裝transformers庫，可使用以下命令進行安裝：

pip install transformers

💻 使用示例

基礎用法

給定兩個句子（前提和假設），模型會輸出蘊含、中立或矛盾關係的對數幾率。

你可以使用側邊的HuggingFace模型小部件測試該模型：

• 依次輸入兩個句子（前提和假設）。
• 模型會分別返回3個標籤的概率：蘊含（LABEL:0）、中立（LABEL:1）和矛盾（LABEL:2）。

若要在本地機器上使用該模型，可參考以下代碼：

# import torch
# device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

from transformers import AutoTokenizer, AutoModelForSequenceClassification
  
tokenizer = AutoTokenizer.from_pretrained("lighteternal/BiomedNLP-PubMedBERT-base-uncased-abstract-fulltext-finetuned-mnli")
model = AutoModelForSequenceClassification.from_pretrained("lighteternal/BiomedNLP-PubMedBERT-base-uncased-abstract-fulltext-finetuned-mnli")

premise = 'EpCAM is overexpressed in breast cancer'
hypothesis = 'EpCAM is downregulated in breast cancer.'

# run through model pre-trained on MNLI
x = tokenizer.encode(premise, hypothesis, return_tensors='pt',
                     truncation_strategy='only_first')
logits = model(x)[0]

probs = logits.softmax(dim=1)
print('Probabilities for entailment, neutral, contradiction \n', np.around(probs.cpu().
                                                                           detach().numpy(),3))
# Probabilities for entailment, neutral, contradiction 
# 0.001 0.001 0.998

📚 詳細文檔

指標

在MNLI測試集上的分類準確率（蘊含、矛盾、中立）評估結果如下：

詳細信息請查看訓練指標標籤頁。

📄 許可證

本項目採用MIT許可證。