Surgicberta

🚀 SurgicBERTa

SurgicBERTaは、RoBERTa-base（Liu et al., 2019）アーキテクチャに基づく言語モデルです。 異なる外科用教科書や学術論文に適応させるため、継続的な事前学習を行いました。これには約700万語と30万の外科用文が含まれています。 学習には、論文の要約だけでなく、本文全体を使用しました。 適応的事前学習手順と評価タスクの具体的な詳細は、以下に引用する論文に記載されています。

✨ 主な機能

• 外科用教科書や学術論文に適応した言語モデル
• 約700万語と30万の外科用文を用いた事前学習
• 論文の本文全体を学習に使用

💻 使用例

基本的な使用法

# ウィジェットのテキスト例
# Example 1
"hemithyroidectomy is the removal of half of the <mask> gland."

# Example 2
"Li-Fraumeni <mask> is a hereditary tumor with autosomal dominant inheritance."

# Example 3
"The fascia in front of the pancreas was cut to the spleen direction to <mask> the splenic artery and vein."

📚 ドキュメント

適応的事前学習手順と評価タスクの具体的な詳細は、以下の論文を参照してください。

📄 ライセンス

このモデルはCC BY-NC-ND 4.0ライセンスの下で提供されています。

📖 引用

このモデルを使用する場合は、以下の論文を引用してください。

@article{bombieri_et_al_SurgicBERTa_2023,
title = {Surgicberta: a pre-trained language model for procedural surgical language},
journal = {International Journal of Data Science and Analytics},
year = {2023},
doi = { https://doi.org/10.1007/s41060-023-00433-5 },
url = { https://link.springer.com/article/10.1007/s41060-023-00433-5 },
author = {Marco Bombieri and Marco Rospocher and Simone Paolo Ponzetto and Paolo Fiorini},
}

セマンティックロールラベリングにこのモデルを使用する場合は、以下の論文も引用してください。

@article{bombieri_et_al_surgical_srl_2023,
title = {Machine understanding surgical actions from intervention procedure textbooks},
journal = {Computers in Biology and Medicine},
volume = {152},
pages = {106415},
year = {2023},
issn = {0010-4825},
doi = {https://doi.org/10.1016/j.compbiomed.2022.106415},
url = {https://www.sciencedirect.com/science/article/pii/S0010482522011234},
author = {Marco Bombieri and Marco Rospocher and Simone Paolo Ponzetto and Paolo Fiorini},
keywords = {Semantic role labeling, Surgical data science, Procedural knowledge, Information extraction, Natural language processing}
}