Klue Roberta Small Ner Identified

🚀 klue-roberta-small-ner-identified

このモデルは、個人の個人情報を非識別化するための個体名認識を提供します。未知のデータセットで微調整されたバージョンで、評価セットで優れた性能を発揮します。

🚀 クイックスタート

このモデルは、vitus9988/klue-roberta-small-ner-identified を未知のデータセットで微調整したものです。評価セットでは以下の結果を達成しています。

• 損失: 0.0082
• 適合率: 0.9930
• 再現率: 0.9988
• F1値: 0.9959
• 正解率: 0.9988

✨ 主な機能

個人の個人情報を非識別化するため、以下の項目に対する個体名認識を提供します。

• 人名 [PS]
• 住所 (旧住所および道路名住所) [AD]
• カード番号 [CN]
• 口座番号 [BN]
• 運転免許証番号 [DN]
• 住民登録番号 [RN]
• パスポート番号 [PN]
• 電話番号 [PH]
• メールアドレス [EM]
• 日付 [DT]

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを使用してインストールできます。

pip install transformers datasets torch tokenizers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("vitus9988/klue-roberta-small-ner-identified")
model = AutoModelForTokenClassification.from_pretrained("vitus9988/klue-roberta-small-ner-identified")

nlp = pipeline("ner", model=model, tokenizer=tokenizer, aggregation_strategy="simple")
example = """
저는 김철수입니다. 집은 서울특별시 강남대로이고 전화번호는 010-1234-5678, 주민등록번호는 123456-1234567입니다. 메일주소는 hugging@face.com입니다. 저는 10월 25일에 출국할 예정입니다.
"""

ner_results = nlp(example)
for i in ner_results:
    print(i)

#{'entity_group': 'PS', 'score': 0.9617835, 'word': '김철수', 'start': 3, 'end': 6}
#{'entity_group': 'AD', 'score': 0.9839702, 'word': '서울특별시 강남대로', 'start': 14, 'end': 24}
#{'entity_group': 'PH', 'score': 0.9906756, 'word': '010 - 1234 - 5678', 'start': 33, 'end': 46}
#{'entity_group': 'RN', 'score': 0.9904553, 'word': '123456 - 1234567', 'start': 56, 'end': 70}
#{'entity_group': 'EM', 'score': 0.99022245, 'word': 'hugging @ face. com', 'start': 81, 'end': 97}
#{'entity_group': 'DT', 'score': 0.985629, 'word': '10월 25일', 'start': 105, 'end': 112}

📚 ドキュメント

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 5e-05
• 学習バッチサイズ: 64
• 評価バッチサイズ: 64
• シード: 42
• オプティマイザ: Adam (ベータ=(0.9, 0.999), イプシロン=1e-08)
• 学習率スケジューラタイプ: 線形
• エポック数: 3

学習結果

フレームワークバージョン

• Transformers 4.40.2
• Pytorch 2.3.0+cu118
• Datasets 2.19.1
• Tokenizers 0.19.1

🔧 技術詳細

このモデルは、KLUE/RoBERTa-smallをベースにしており、未知のデータセットで微調整されています。個体名認識タスクに特化しており、個人の個人情報を非識別化するために使用されます。

📄 ライセンス

このモデルのライセンス情報は提供されていません。詳細については、元のリポジトリを参照してください。