Tinysapbert From TinyPubMedBERT V1.0

🚀 TinySapBERT

このモデルリポジトリでは、公式のSapBERTコードと指示 (Liu et al., NAACL 2021) を使用して学習された、小規模な生物医学エンティティ表現（言語モデル）である「TinySapBERT」を紹介しています。 小規模な言語モデルである「TinyPubMedBERT」を初期ポイントとして、SapBERT方式で学習を行いました。
参考：TinyPubMedBERTは、KAZU (Korea University and AstraZeneca) フレームワークのリリースとともにオープンソース化された、蒸留されたPubMedBERT (Gu et al., 2021)です。

• 詳細については、KAZUフレームワークをご覧いただくか、論文「Biomedical NER for the Enterprise with Distillated BERN2 and the Kazu Framework」(EMNLP 2022 industry track)を参照してください。
• KAZUフレームワークのデモは、http://kazu.korea.ac.kr をご覧ください。

📚 ドキュメント

引用情報

Richard Jackson (AstraZeneca) と WonJin Yoon (Korea University) の共同筆頭著者です。
以下のセクションを使用して簡略版を引用するか、完全な引用情報はこちらを参照してください。

@inproceedings{YoonAndJackson2022BiomedicalNER,
  title="Biomedical {NER} for the Enterprise with Distillated {BERN}2 and the Kazu Framework",
  author="Yoon, Wonjin and Jackson, Richard and Ford, Elliot and Poroshin, Vladimir and Kang, Jaewoo",
  booktitle="Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing: Industry Track",
  month = dec,
  year = "2022",    
  address = "Abu Dhabi, UAE",
  publisher = "Association for Computational Linguistics",
  url = "https://aclanthology.org/2022.emnlp-industry.63",
  pages = "619--626",
}

このモデルは、SapBERT論文のリソースを使用しています。著者たちがリソースを公開してくれたことに感謝します！

Liu, Fangyu, et al. "Self-Alignment Pretraining for Biomedical Entity Representations." 
Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2021.

連絡先

このリポジトリ内のコードまたはモデル（KAZUのNERモジュール）の使用に関するヘルプや問題がある場合は、WonJin Yoon (wonjin.info (at) gmail.com) に連絡するか、GitHubのissueを投稿してください。