Pubchemdeberta

🚀 TwinBooster

PubChemDeBERTa: PubChemのバイオアッセイコーパスに基づいてファインチューニングされたDeBERTa V3ベース

このプロジェクトは、大規模言語モデルとBarlow Twins、勾配ブースティングを組み合わせて、分子特性予測を強化する手法を提供します。特に、データが少ない状況での分子特性予測に有効で、ドラッグデザインの早期段階での活性分子の特定を加速する可能性があります。

分子特性予測強化のための大規模言語モデル、Barlow Twins、勾配ブースティングの融合

Maximilian G. Schuh, Davide Boldini, Stephan A. Sieber

@ 有機化学第二部門、 ミュンヘン工科大学自然科学部

概要

創薬と医薬品開発の成功は、分子の活性と特性の正確な予測に依存しています。コンピュータ上での分子特性予測は大きな潜在能力を持っていますが、これまでは大量のデータが利用可能なアッセイに限定されていました。本研究では、ファインチューニングされた大規模言語モデルを使用して、テキスト情報に基づいて生物学的アッセイを統合し、新しい自己教師付き学習アプローチを用いたシアメーズニューラルネットワークであるBarlow Twinsと組み合わせました。このアーキテクチャは、アッセイ情報と分子指紋の両方を使用して、真の分子情報を抽出します。TwinBoosterは、最先端のゼロショット学習タスクを提供することで、未見のバイオアッセイや分子の特性予測を可能にします。注目すべきは、私たちの人工知能パイプラインがFS - Molベンチマークで優れた性能を示したことです。この画期的な成果は、データが通常不足している重要な特性予測タスクへの深層学習の応用を実証しています。創薬と医薬品開発における活性分子の早期特定を加速することで、この方法は新しい治療薬の特定を効率化する可能性を秘めています。

📚 詳細ドキュメント

基本情報