Pii Entity Extractor

🚀 DeBERTaを用いたPII検出モデルカード

このモデルは、名前付きエンティティ認識（NER）用に微調整されたmicrosoft/debertaのバージョンです。特に、名前、社会保障番号（SSN）、電話番号、クレジットカード番号、住所などの個人識別情報（PII）エンティティの検出に設計されています。

🚀 クイックスタート

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

model_name = "AI-Enthusiast11/pii-entity-extractor"  
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

# Post processing logic to combine the subword tokens
def merge_tokens(ner_results):
    entities = {}
    for entity in ner_results:
        entity_type = entity["entity_group"]
        entity_value = entity["word"].replace("##", "")  # Remove subword prefixes

        # Handle token merging
        if entity_type not in entities:
            entities[entity_type] = []
        if entities[entity_type] and not entity_value.startswith(" "):
            # If the previous token exists and this one isn't a new word, merge it
            entities[entity_type][-1] += entity_value
        else:
            entities[entity_type].append(entity_value)

    return entities

def redact_text_with_labels(text):
    ner_results = nlp(text)

    # Merge tokens for multi-token entities (if any)
    cleaned_entities = merge_tokens(ner_results)

    redacted_text = text
    for entity_type, values in cleaned_entities.items():
        for value in values:
            # Replace each identified entity with the label
            redacted_text = redacted_text.replace(value, f"[{entity_type}]")

    return redacted_text

#Loading the pipeline
nlp = pipeline("ner", model=model_name, tokenizer=tokenizer, aggregation_strategy="simple")

# Example input (choose one from your examples)
example = "Hi, I’m Mia Thompson. I recently noticed that my electricity bill hasn’t been updated despite making the payment last week. I used account number 4893172051 linked with routing number 192847561. My service was nearly suspended, and I’d appreciate it if you could verify the payment. You can reach me at 727-814-3902 if more information is needed."

# Run pipeline and process result
ner_results = nlp(example)
cleaned_entities = merge_tokens(ner_results)

# Print the NER results
print("\n==NER Results:==\n")
for entity_type, values in cleaned_entities.items():
    print(f"  {entity_type}: {', '.join(values)}")

# Redact the single example with labels
redacted_example = redact_text_with_labels(example)

# Print the redacted result
print(f"\n==Redacted Example:==\n{redacted_example}")

✨ 主な機能

• このトランスフォーマーベースのモデルは、PIIとして一般的に分類される機密情報を検出するために、カスタムデータセットで微調整されています。
• トークンレベルの分類を使用してエンティティを識別するシーケンスラベリングを行います。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

モデルの詳細

モデルの説明

学習の詳細

学習データ

このモデルは、以下のPIIエンティティタイプのラベル付きサンプルを含むカスタムデータセットで微調整されました。

• NAME
• SSN
• PHONE-NO
• CREDIT-CARD-NO
• BANK-ACCOUNT-NO
• BANK-ROUTING-NO
• ADDRESS

エポックログ

SeqEval分類レポート

要約

• マイクロ平均: 0.95
• マクロ平均: 0.95
• 加重平均: 0.95

評価

テストデータ

評価は、同じラベル付きデータセットのホールドアウト部分で行われました。

評価指標

• 適合率
• 再現率
• F1値（seqevalを使用）
• エンティティごとの内訳
• トークンレベルの正解率

結果

• ほとんどのラベルでF1値が0.95を超えており、PII検出における堅牢性を示しています。

推奨事項

⚠️ 重要提示

高リスク環境では、人的レビューを行ってください。

💡 使用建议

デプロイ前に、独自のドメイン固有のデータで評価してください。