Gliner PII ITA

🚀 Gliner - 個人識別情報識別の汎用モデル

このモデルは、テキスト文書内の個人識別情報（PII）を識別および分類するために設計されています。汎用的に設計され、幅広いPIIタグを認識できますが、行政、法務、金融の分野で最も一般的で重要なタグの識別に特化しています。

🚀 クイックスタート

このモデルを使用するには、GLiNER Pythonライブラリをインストールする必要があります。

!pip install gliner

✨ 主な機能

モデルの説明

このモデルは、テキスト文書内の個人識別情報（PII）を識別および分類するために設計されています。汎用的に設計され、幅広いPIIタグを認識できますが、行政、法務、金融の分野で最も一般的で重要なタグの識別に特化しています。

適用分野

法的文書、契約書、財務記録、および行政文書の分析に特に有効です。これらの分野では、プライバシー規制（GDPRなど）に準拠するために、個人情報を正しく識別および分類することが重要です。

サポートされるタグ

このモデルは、合計11706の異なるタグで訓練されています。認識できるタグの例をいくつか挙げます。

• 顧客名：顧客の完全な名前を識別します。
• 出身地：人が生まれた市区町村を認識します。
• 住所：人の住所を認識します。
• 税番号：個人または企業の税番号を認識します。
• 文書番号：パスポート、身分証明書などの識別文書の番号を識別します。
• 取引金額：金融取引に関連する金額を認識します。
• 地番：不動産に関連する地番を識別します。
• 企業名：企業の正式名称を認識します。
• IBAN：IBAN形式の銀行口座番号を識別します。
• IPアドレス：ユーザーまたはデバイスに関連するIPアドレスを認識します。

パフォーマンス

このモデルは、各タイプのPIIについて約200Kの手動でアノテーション付けされたサンプルを含む大規模なデータセットで訓練されています。

制限事項

• データの変動性：Glinerは、非構造化文書または訓練セットと大きく異なる形式の文書でPIIを識別するのに困難を抱える可能性があります。
• まれなタグ：このモデルは、あまり一般的でないタグまたは訓練セットで十分に表現されていないタグに対して性能が低下する可能性があります。
• バイアス：すべての機械学習モデルと同様に、Glinerは訓練データセットに由来するバイアスの影響を受ける可能性があります。

📦 インストール

このモデルを使用するには、GLiNER Pythonライブラリをインストールする必要があります。

!pip install gliner

💻 使用例

基本的な使用法

GLiNERライブラリをダウンロードしたら、GLiNERクラスをインポートできます。その後、GLiNER.from_pretrainedを使用してこのモデルをロードし、predict_entitiesを使用してエンティティを予測できます。

from gliner import GLiNER

model = GLiNER.from_pretrained("DeepMount00/GLiNER_PII_ITA")

text = """..."""

labels = ["label1", "label2"]

entities = model.predict_entities(text, labels)

for entity in entities:
    print(entity["text"], "=>", entity["label"])

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下でライセンスされています。