Scideberta Full

🚀 sciDeBERta v2

このモデルは、DeBERTa v2 上で S2ORC データセット（260GB、論文の要約や本文を含む）を用いてゼロから学習されたトークン分類モデルです。SciERC データセットの NET で SOTA を達成しています。また、このモデルをベースにした MediBioDeBERTa は、特定の BLURB ベンチマークタスクに対する追加の中間微調整を行い、BLURB ベンチマークで 11 位を獲得しています。

📚 詳細ドキュメント

モデル情報

関連研究

このモデルの別名は sciDeBERta v2[1] です。また、このモデルをベースにした MediBioDeBERTa は、特定の BLURB ベンチマークタスクに対する追加の中間微調整を行い、BLURB ベンチマークで 11 位を獲得しています。

[1] Eunhui Kim, Yuna Jeong, Myung-seok Choi, "MediBioDeBERTa: BioMedical Language Model with Continous Learning and Intermediate Fine-Tuning, Dec. 2023, IEEE Access"

📄 ライセンス

このモデルは CC-BY-2.0 ライセンスの下で提供されています。