Medialbertina Pt Pt 900m

🚀 MediAlbertina

MediAlbertinaは、実際のヨーロッパ・ポルトガル語のデータで学習された、最初の公開された医療用言語モデルです。これは、Bertファミリーのエンコーダで、DeBERTaV2ベースで、ポルトガル最大の公立病院が共有する電子カルテを使用して、PORTULANのAlbertinaモデルの事前学習を継続した結果です。

MediAlbertinaモデルは、その前身と同様に、MITライセンスの下で配布されています。

✨ 主な機能

MediAlbertina PT-PT 900Mは、Albertina PT-PT 900Mを実際のヨーロッパ・ポルトガル語の電子カルテに対してマスク言語モデリングを用いてドメイン適応させることで作成されました。情報抽出（IE）タスクである固有表現抽出（NER）とアサーションステータス（AStatus）について、診断、症状、バイタルサイン、結果、医療処置、薬剤、投与量、経過などのクラスに属する1万以上の手動でアノテーションされたエンティティに対して微調整して評価を行いました。

両方のタスクで、MediAlbertinaはその前身よりも優れた結果を達成し、このドメイン適応の有効性と、ポルトガルの医療AIにおける可能性を示しています。

📦 インストール

このセクションでは、具体的なインストール手順が提供されていないため、省略します。

💻 使用例

基本的な使用法

from transformers import pipeline

unmasker = pipeline('fill-mask', model='portugueseNLP/medialbertina_pt-pt_900m')
unmasker("Analgesia com morfina em perfusão (15 [MASK]/kg/h)")

📚 ドキュメント

データ

MediAlbertina PT-PT 900Mは、ポルトガル最大の公立病院の260万件の完全に匿名化された一意の電子カルテ（EMR）からの1500万以上の文と3億トークンで学習されました。このデータは、FCTプロジェクトDSAIPA/AI/0122/2020 AIMHealth - 人工知能に基づくモバイルアプリケーションの枠組みの下で取得されました。

📄 ライセンス

MediAlbertinaモデルは、MITライセンスの下で配布されています。

🔗 引用

MediAlbertinaは、ポルトガルのISCTE-IULと米国カリフォルニア州のSelect Dataの共同チームによって開発されました。詳細な説明については、それぞれの出版物を参照してください。

@article{MediAlbertina PT-PT,
      title={MediAlbertina: An European Portuguese medical language model}, 
      author={Miguel Nunes and João Boné and João Ferreira
              and Pedro Chaves and Luís Elvas},
      year={2024},
      journal={CBM},
      volume={182}
      url={https://doi.org/10.1016/j.compbiomed.2024.109233}
}

このモデルを使用または引用する場合は、上記の正規の引用を使用してください。

謝辞

この研究は、ポルトガルの回復とレジリエンスプログラム（PRR）、ポルトガル共和国、および欧州連合（EU）によって、Next Generation EUプログラムの枠組みの下で資金提供された、Project Blockchain.PT – Decentralize Portugal with Blockchain Agenda（プロジェクト番号51）、WP2、Call no 02/C05-i01.01/2022によって財政的に支援されています。