Bio ClinicalBERT DDI Finetuned

🚀 Bio_ClinicalBERT_DDI_finetuned

本項目是一個基於微調的Bio_ClinicalBERT模型，用於預測兩種藥物之間的相互作用。通過在BERT池化層後添加三個隱藏層，在藥物相互作用數據集上進行訓練，能夠有效預測藥物間相互作用的概率。

🚀 快速開始

本模型從 Bio_ClinicalBERT 初始化而來，在BERT池化層後添加了三個隱藏層。該模型在從 DrugBank 數據庫和 美國國立醫學圖書館 API中提取的藥物相互作用數據集上進行訓練。

它在測試數據集上取得了以下結果：

• F2值：0.7872
• 平均精度-召回曲線下面積（AUPRC）：0.869
• 召回率：0.7849
• 精確率：0.7967
• 馬修斯相關係數（MCC）：0.3779

✨ 主要特性

• 預測藥物相互作用：根據兩種藥物的化學結構預測它們之間的相互作用，並返回相互作用的概率。
• 數據隔離：驗證集和測試集中的藥物未包含在訓練集中，避免數據洩露，能夠對新藥的相互作用進行預測。

💻 使用示例

基礎用法

要構建輸入，使用 "[SEP]" 標記分隔兩種藥物，以下是一個正確構建輸入的示例：

drug1 = "[Ca++].[O-]C([O-])=O"  # 碳酸鈣
drug2 = "OC[C@H](O)[C@@H](O)[C@H](O)[C@H](O)CO"   # 山梨醇
correct_input = "[Ca++].[O-]C([O-])=O [SEP] OC[C@H](O)[C@@H](O)[C@H](O)[C@H](O)CO"

🔧 技術細節

訓練和評估數據

為避免數據洩露並能夠預測新藥的藥物相互作用，驗證集和測試集中的藥物1或藥物2未包含在訓練集中。它們的SMILES化學結構從未在訓練過程中出現過。

訓練過程

使用AWS EC2 g5.4xlarge實例，配備24GB GPU進行訓練。

訓練超參數

訓練期間使用了以下超參數：

• 學習率：0.01
• 訓練批次大小：32
• 評估批次大小：32
• 隨機種子：7
• 優化器：Adadelta，權重衰減為1e-04
• 學習率調度器類型：CosineAnnealingLR
• 訓練輪數：4

訓練結果

框架版本

• Transformers 4.30.2
• Pytorch 2.0.1
• Datasets 2.13.1
• Tokenizers 0.13.3

📄 許可證

文檔未提及相關許可證信息。

📦 模型信息