Vetbert

🚀 VetBERT 獣医臨床タスク用の事前学習済みモデル

この事前学習済みのVetBERTモデルは、GitHubリポジトリ https://github.com/havocy28/VetBERT から取得できます。このモデルは、獣医臨床ノートに関連する自然言語処理タスクを実行するために設計されています。

🚀 クイックスタート

この事前学習済みモデルは、獣医臨床ノートに関連する自然言語処理タスクを実行するために設計されています。Domain Adaptation and Instance Selection for Disease Syndrome Classification over Veterinary Clinical Notes (Hur et al., BioNLP 2020) の論文でVetBERTモデルが紹介されました。これは、ClinicalBERT (Bio+Clinical BERT) で初期化されたBertモデルで、VetCompass Australia コーパスでさらに事前学習され、獣医医学に特化したタスクを実行できます。この論文では、疾病分類タスク用に微調整されたVetBERTのバージョンである VetBERTDx についても議論されています。

✨ 主な機能

• 獣医臨床ノートに関連する自然言語処理タスクを実行可能。
• 疾病分類タスクに特化した微調整バージョン (VetBERTDx) も存在。

📦 インストール

このモデルはHugging Faceのライブラリを通じて利用できます。具体的なインストール手順は、Hugging Faceのドキュメントを参照してください。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("havocy28/VetBERT")
model = AutoModelForMaskedLM.from_pretrained("havocy28/VetBERT")

VetBERT_masked = pipeline("fill-mask", model=model, tokenizer=tokenizer)
VetBERT('Suspected pneuomina, will require an [MASK] but in the meantime will prescribed antibiotics')

📚 ドキュメント

事前学習データ

VetBERTモデルは、Bio_ClinicalBERTモデル から初期化され、これはBERTから初期化されています。VetBERTモデルは、1500万を超える獣医臨床レコードと13億のトークンで学習されました。

事前学習ハイパーパラメータ

VetBERTの事前学習フェーズでは、バッチサイズを32、最大シーケンス長を512、学習率を5 · 10−5 で使用しました。異なるマスクで入力データを複製するためのdup factorは5に設定されました。他のすべてのデフォルトパラメータが使用されました (具体的には、マスクされた言語モデルの確率 = 0.15、シーケンスごとの最大予測数 = 20)。

VetBERTの微調整

VetBERTは、5002件の注釈付き臨床ノートのセットでさらに微調整され、Domain Adaptation and Instance Selection for Disease Syndrome Classification over Veterinary Clinical Notes の論文で概説されているように、臨床ノートに関連する疾病症候群を分類します。

🔧 技術詳細

• モデルは、Bio_ClinicalBERTから初期化され、VetCompass Australiaコーパスで事前学習されました。
• 事前学習には、大規模な獣医臨床レコードとトークンが使用されました。
• 微調整には、注釈付きの臨床ノートが使用され、疾病分類タスクに特化しています。

📄 ライセンス

このモデルはOpenRailライセンスの下で提供されています。

その他の情報

ウィジェット例

• 術後診察: "poc all well. wound healed. No [MASK] on exam. Microchip working. Sign off, resee if worried."
• 血糖チェック: "other 2 degu's unwell recently want health check for this one appears well for age blood [MASK] 3.8. offer to reweigh and monitor weight"

引用

このモデルに関する論文を引用する場合は、以下の情報を使用してください。 Brian Hur, Timothy Baldwin, Karin Verspoor, Laura Hardefeldt, and James Gilkerson. 2020. Domain Adaptation and Instance Selection for Disease Syndrome Classification over Veterinary Clinical Notes. In Proceedings of the 19th SIGBioMed Workshop on Biomedical Language Processing, pages 156–166, Online. Association for Computational Linguistics.