Piiranha V1 Detect Personal Information

🚀 Piiranha-v1: 個人情報を保護しましょう！

Piiranhaは、6か国語にわたる17種類の個人情報（PII）を検出するように訓練されたモデルです。このモデルは、PIIトークンの98.27%を検出し、全体的な分類精度は99.44%に達しています。特に、パスワード、メールアドレス（100%）、電話番号、ユーザー名の検出に高い精度を誇ります。

個人情報と非個人情報の分類タスクにおける性能

• 精度（Precision）: 98.48%（PIIと分類されたトークンの98.48%が実際にPIIです）
• 再現率（Recall）: 98.27%（PIIトークンの98.27%を正しく識別します）
• 特異度（Specificity）: 99.84%（非PIIトークンの99.84%を正しく識別します）

Piiranhaは、Akash Networkから提供されたH100 GPUを使用して訓練されました。

🚀 クイックスタート

Piiranhaは、テキストから個人情報を検出するために使用できます。ただし、自己責任での使用となり、モデルの誤った予測については一切責任を負いません。

✨ 主な機能

• 多言語対応：英語、スペイン語、フランス語、ドイツ語、イタリア語、オランダ語の6か国語に対応しています。
• 多種類のPII検出：口座番号、建物番号、都市名、クレジットカード番号、生年月日、運転免許証番号、メールアドレス、名前、姓、IDカード番号、パスワード、社会保障番号、住所、税務番号、電話番号、ユーザー名、郵便番号など17種類のPIIを検出できます。
• 高精度：PIIトークンの98.27%を検出し、全体的な分類精度は99.44%に達しています。

📚 ドキュメント

モデルの説明

Piiranhaは、microsoft/mdeberta-v3-baseをファインチューニングしたモデルです。コンテキストの長さは256 Debertaトークンです。テキストがこれより長い場合は、分割して使用してください。

各PIIタイプ別の性能

報告されている性能指標は、全体的な精度99.44%よりも低くなっています。これは、クラスの不均衡（ほとんどのトークンが非PIIである）によるものです。ただし、モデルはPII検出の意図から、以下の結果よりも有用です。モデルは時々、あるPIIタイプを別のPIIタイプと誤分類することがありますが、最終的にはトークンをPIIとして認識します。

訓練と評価データ

Piiranhaは、ai4privacy/pii-masking-400kデータセットを使用して訓練されました。

訓練手順

訓練ハイパーパラメータ

訓練時には、以下のハイパーパラメータが使用されました。

• 学習率（learning_rate）: 5e-05
• 訓練バッチサイズ（train_batch_size）: 128
• 評価バッチサイズ（eval_batch_size）: 128
• シード（seed）: 42
• オプティマイザ（optimizer）: Adam（ベータ=(0.9,0.999)、イプシロン=1e-08）
• 学習率スケジューラのタイプ（lr_scheduler_type）: 線形
• 学習率スケジューラのウォームアップ比率（lr_scheduler_warmup_ratio）: 0.05
• エポック数（num_epochs）: 5
• 混合精度訓練（mixed_precision_training）: Native AMP

訓練結果

連絡先

william (at) integrinet [dot] org

フレームワークバージョン

• Transformers 4.44.2
• Pytorch 2.4.1+cu121
• Datasets 3.0.0
• Tokenizers 0.19.1

📄 ライセンス

このモデルは、cc-by-nc-nd-4.0ライセンスの下で提供されています。