Bert Base NER Russian

🚀 ロシア語固有表現抽出モデル

このモデルは、ロシア語のテキストにおける固有表現抽出（NER）のために bert-base-multilingual-cased をファインチューニングしたバージョンです。BIOLUタグ付け形式を使用して、人名、場所、組織などの様々なエンティティタイプを識別することができます。

🚀 クイックスタート

想定される用途と制限

このモデルは、ロシア語のテキスト内の固有表現を識別するために設計されています。情報抽出、コンテンツ分析、下流の自然言語処理タスクのためのテキスト前処理などのタスクに使用できます。

使い方

以下は、このモデルを使用する簡単な例です。

from transformers import pipeline

ner_pipe = pipeline("ner", model="Gherman/bert-base-NER-Russian")

text = "Меня зовут Сергей Иванович из Москвы."
results = ner_pipe(text)

for result in results:
    print(f"Word: {result['word']}, Entity: {result['entity']}, Score: {result['score']:.4f}")

制限とバイアス

• モデルの性能は、入力テキストのドメインやスタイルによって異なる場合があります。
• 学習時に見られなかったまれなまたは複雑なエンティティ名に対しては、うまく対応できない場合があります。
• モデルは、学習データに含まれるバイアスを示す可能性があります。

📚 ドキュメント

学習データ

このモデルは、Detailed-NER-Dataset-RU by AlexKly で学習されました。このデータセットはとても良いものですので、ぜひ確認してみてください！

ラベル情報

このデータセットは、BIOLU形式でラベル付けされています。ここで、各記号は以下の意味を持ちます。

• B: エンティティの最初のトークン
• I: エンティティの内部トークン
• O: その他（非エンティティ）のトークン
• L: エンティティの最後のトークン
• U: 単一トークンのエンティティ

データセットには、以下のエンティティタイプが含まれています。

場所（LOC）タグ:

• 国（COUNTRY）
• 地域（REGION）
• 都市（CITY）
• 地区（DISTRICT）
• 通り（STREET）
• 家（HOUSE）

人物（PER）タグ:

• 姓（LAST_NAME）
• 名（FIRST_NAME）
• ミドルネーム（MIDDLE_NAME）

例えば、都市名の最初のトークンには "B-CITY" のような完全なタグが付けられ、単一トークンの国名には "U-COUNTRY" のようなタグが付けられます。

学習手順

このモデルは、Hugging Face Transformersライブラリを使用して、bert-base-multilingual-cased のチェックポイントからファインチューニングされました。

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率（learning_rate）: 2e-5
• 学習バッチサイズ（train_batch_size）: 16
• 評価バッチサイズ（eval_batch_size）: 16
• 乱数シード（seed）: 42
• オプティマイザ（optimizer）: 重み減衰修正付きAdam
• 学習率スケジューラタイプ（lr_scheduler_type）: 線形
• エポック数（num_epochs）: 10

フレームワークバージョン

• Transformers 4.28.1
• Pytorch 1.13.0
• Datasets 2.12.0
• Tokenizers 0.13.3

評価結果

このモデルは、評価セットで以下の結果を達成しています。

• 適合率（Precision）: 0.987843
• 再現率（Recall）: 0.988498
• F1スコア（F1 Score）: 0.988170

倫理的な考慮事項

このモデルは、ロシア語のテキスト分析に使用することを目的としており、責任を持って使用されるべきです。ユーザーは、モデルの予測に潜在的なバイアスがあることを認識し、特に個人やグループに影響を与える可能性のあるアプリケーションでは、結果を慎重に使用する必要があります。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。