Medical NER

🚀 deberta-med-ner-2

該模型是基於DeBERTa在PubMED數據集上進行微調的版本，可用於識別41種醫學實體，在醫學命名實體識別任務中表現出色。

🚀 快速開始

此模型是在BERT基礎上微調得到的醫學命名實體識別（Medical NER）模型，能夠識別41種醫學實體。

✨ 主要特性

• 基於強大的DeBERTa模型架構，在PubMED數據集上進行微調，適用於醫學領域的命名實體識別任務。
• 能夠識別41種醫學實體，為醫學信息提取提供有力支持。

📦 安裝指南

文檔未提及具體安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

# 使用pipeline作為高級輔助工具
from transformers import pipeline
pipe = pipeline("token-classification", model="Clinical-AI-Apollo/Medical-NER", aggregation_strategy='simple')
result = pipe('45 year old woman diagnosed with CAD')

# 直接加載模型
from transformers import AutoTokenizer, AutoModelForTokenClassification

tokenizer = AutoTokenizer.from_pretrained("Clinical-AI-Apollo/Medical-NER")
model = AutoModelForTokenClassification.from_pretrained("Clinical-AI-Apollo/Medical-NER")

📚 詳細文檔

模型描述

醫學命名實體識別模型，在BERT基礎上進行微調，可識別41種醫學實體。

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：2e - 05
• 訓練批次大小（train_batch_size）：8
• 評估批次大小（eval_batch_size）：16
• 隨機種子（seed）：42
• 梯度累積步數（gradient_accumulation_steps）：2
• 總訓練批次大小（total_train_batch_size）：16
• 優化器（optimizer）：Adam，β值為(0.9, 0.999)，ε值為1e - 08
• 學習率調度器類型（lr_scheduler_type）：餘弦
• 學習率調度器預熱比例（lr_scheduler_warmup_ratio）：0.1
• 訓練輪數（num_epochs）：30
• 混合精度訓練（mixed_precision_training）：Native AMP

作者

作者：Saketh Mattupalli

框架版本

• Transformers 4.37.0
• Pytorch 2.1.2
• Datasets 2.1.0
• Tokenizers 0.15.1

🔧 技術細節

文檔未提供足夠的技術實現細節（少於50字），故跳過此章節。

📄 許可證

本模型採用MIT許可證。

信息表格