Deid Bert I2b2

🚀 臨床ノート脱識別用ClinicalBERTモデル

このモデルは、医療ノートの脱識別のために微調整されたClinicalBERTモデルです。医療ノート内の保護された健康情報（PHI/PII）を特定することができ、医療データのプライバシー保護に役立ちます。

🚀 クイックスタート

このモデルの使い方やデータの形式、その他有用な情報は、GitHubリポジトリ Robust DeID に記載されています。

✨ 主な機能

• 医療ノートの脱識別：医療ノート内の保護された健康情報（PHI/PII）を特定し、脱識別することができます。
• シーケンスラベリング：トークン分類により、各トークンを非PHIまたは11種類のPHIタイプのいずれかに分類します。
• BILOUタグ付け：トークン予測をBILOUタグ付けを用いてスパンに集約します。

📦 インストール

このモデルを使用するには、GitHubリポジトリ Robust DeID を参照してください。

💻 使用例

基本的な使用法

モデルの動作デモは、このスペース Medical-Note-Deidentification で確認できます。

高度な使用法

モデルを使用してフォワードパスを実行する手順は、こちら Forward Pass を参照してください。

📚 ドキュメント

• モデルの詳細：Annotation Guidelines を参照してください。
• データセット：このモデルはI2B2 2014データセットを使用してトレーニングされました。
• トレーニング手順：モデルのトレーニング手順は、こちら Training を参照してください。

🔧 技術詳細

データセット

トレーニング手順

• データセットは、spacyのen_core_sci_smセンテンサイザーでセンテンス化されました。
• データセットは、spacyのen_core_sci_smトークナイザーをベースに構築されたカスタムトークナイザーでトークン化されました。
• 各文には、左に32トークン（前の文から）、右に32トークン（次の文から）が追加されました。
• 追加されたトークンは学習には使用されず、損失はこれらのトークンに対しては計算されません。これらは追加のコンテキストとして使用されます。
• 各シーケンスは最大128トークン（追加された32トークンを含む）で構成されています。長いシーケンスは分割されました。
• センテンス化およびトークン化されたデータセットと、BILOU表記に基づくトークンレベルのラベルがモデルのトレーニングに使用されました。
• モデルは、事前学習されたRoBERTaモデルから微調整されました。

トレーニング詳細

• 入力シーケンス長: 128
• バッチサイズ: 32
• オプティマイザー: AdamW
• 学習率: 4e-5
• ドロップアウト: 0.1

📄 ライセンス

このモデルはMITライセンスの下で提供されています。