Bio ClinicalBERT DDI Finetuned

🚀 Bio_ClinicalBERT_DDI_finetuned

このモデルは、薬物間相互作用（DDI）を化学構造から予測することができ、2つの薬物が相互作用する確率を返します。BERTのプーラー層の後に3つの隠れ層を追加して、Bio_ClinicalBERT から初期化されました。

🚀 クイックスタート

このモデルは、DrugBank データベースと National Library of Medicine API から抽出された薬物間相互作用データセットでトレーニングされています。テストデータセットでは以下の結果を達成しています。

• F2: 0.7872
• AUPRC: 0.869
• Recall: 0.7849
• Precision: 0.7967
• MCC: 0.3779

✨ 主な機能

• 2つの薬物の化学構造から薬物間相互作用（DDI）を予測します。
• 2つの薬物が相互作用する確率を返します。

📦 インストール

ドキュメントにインストール手順に関する内容は記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

drug1 = "[Ca++].[O-]C([O-])=O"  #Calcium Carbonate
drug2 = "OC[C@H](O)[C@@H](O)[C@H](O)[C@H](O)CO"   #Sorbitol
correct_input = "[Ca++].[O-]C([O-])=O [SEP] OC[C@H](O)[C@@H](O)[C@H](O)[C@H](O)CO"

📚 ドキュメント

入力の構築

入力を構築するには、2つの薬物の間に "[SEP]" トークンを使用して区切ります。適切に構築された入力の例は上記のコードの通りです。

トレーニングと評価データ

データの漏洩を避け、新しい薬物のDDIを予測できるようにするため、検証セットとテストセットのdrug1またはdrug2はトレーニングセットに含まれていません。それらのSMILES化学構造はトレーニングプロセスに一切晒されていません。

トレーニング手順

AWS EC2 g5.4xlargeインスタンス（24GB GPU）を使用してトレーニングを行いました。

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

• learning_rate: 0.01
• train_batch_size: 32
• eval_batch_size: 32
• seed: 7
• optimizer: Adadelta with weight_decay=1e-04
• lr_scheduler_type: CosineAnnealingLR
• num_epochs: 4

トレーニング結果

フレームワークバージョン

• Transformers 4.30.2
• Pytorch 2.0.1
• Datasets 2.13.1
• Tokenizers 0.13.3

🔧 技術詳細

このモデルは、Bio_ClinicalBERT をベースに、BERTのプーラー層の後に3つの隠れ層を追加して構築されています。トレーニングデータは DrugBank データベースと National Library of Medicine API から抽出され、データの漏洩を避けるために検証セットとテストセットの薬物はトレーニングセットに含まれていません。

📄 ライセンス

ドキュメントにライセンス情報に関する内容は記載されていないため、このセクションをスキップします。

📊 メトリクスとデータセット情報