Ner Rubert Tiny News

🚀 Ner-rubert-tiny-RuNews

このモデルは、固有表現抽出（NER） のタスクに特化しており、トークン分類 のパイプラインで動作します。ベースモデルには RuBERT-tiny2 を使用し、Collection3 データセットで学習されています。このデータセットは、人名、組織名、地名などの固有表現を含むテキストで構成されています。

モデル情報

✨ 主な機能

このモデルは、以下の固有表現のタイプを識別できます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline

label2id = {
    'O': 0,
    'B-GEOPOLIT': 1, 'I-GEOPOLIT': 2,
    'B-MEDIA': 3,    'I-MEDIA': 4,
    'B-LOC': 5,      'I-LOC': 6,
    'B-ORG': 7,      'I-ORG': 8,
    'B-PER': 9,      'I-PER': 10
}
id2label = {v: k for k, v in label2id.items()}

model_id = "r1char9/ner-rubert-tiny-RuNews"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForTokenClassification.from_pretrained(
    model_id,
    num_labels=len(label2id),
    id2label=id2label,
    label2id=label2id
)

ner_pipeline = pipeline(
    "ner",
    model=model,
    tokenizer=tokenizer,
    aggregation_strategy="simple"
)

text = (
    "–ì–µ–Ω–µ—Ä–∞–ª—å–Ω—ã–π –¥–∏—Ä–µ–∫—Ç–æ—Ä –°–±–µ—Ä–±–∞–Ω–∫–∞ –ì–µ—Ä–º–∞–Ω –ì—Ä–µ—Ñ –Ω–∞ –∫–æ–Ω—Ñ–µ—Ä–µ–Ω—Ü–∏–∏ –≤ –ú–æ—Å–∫–≤–µ –∑–∞—è–≤–∏–ª, "
    "—á—Ç–æ —Å–æ—Ç—Ä—É–¥–Ω–∏—á–µ—Å—Ç–≤–æ —Å –Ø–Ω–¥–µ–∫—Å–æ–º –≤ –æ–±–ª–∞—Å—Ç–∏ –∏—Å–∫—É—Å—Å—Ç–≤–µ–Ω–Ω–æ–≥–æ –∏–Ω—Ç–µ–ª–ª–µ–∫—Ç–∞ –≤—ã—Ö–æ–¥–∏—Ç –Ω–∞ –Ω–æ–≤—ã–π —É—Ä–æ–≤–µ–Ω—å. "
    "–û–Ω —Ç–∞–∫–∂–µ –æ—Ç–º–µ—Ç–∏–ª, —á—Ç–æ –ø—Ä–∞–≤–∏—Ç–µ–ª—å—Å—Ç–≤–æ –†–æ—Å—Å–∏–π—Å–∫–æ–π –§–µ–¥–µ—Ä–∞—Ü–∏–∏ –ø–æ–¥–¥–µ—Ä–∂–∏–≤–∞–µ—Ç —Ä–∞–∑–≤–∏—Ç–∏–µ —Ü–∏—Ñ—Ä–æ–≤–æ–π —ç–∫–æ–Ω–æ–º–∏–∫–∏, "
    "–æ—Å–æ–±–µ–Ω–Ω–æ –≤ —Ä–∞–º–∫–∞—Ö –ï–≤—Ä–∞–∑–∏–π—Å–∫–æ–≥–æ —ç–∫–æ–Ω–æ–º–∏—á–µ—Å–∫–æ–≥–æ —Å–æ—é–∑–∞."
)

results = ner_pipeline(text)

for entity in results:
    print(entity)

# {'entity_group': 'ORG', 'score': 0.951569, 'word': '–°–±–µ—Ä–±–∞–Ω–∫–∞', 'start': 21, 'end': 30}
# {'entity_group': 'PER', 'score': 0.9922959, 'word': '–ì–µ—Ä–º–∞–Ω –ì—Ä–µ—Ñ', 'start': 31, 'end': 42}
# {'entity_group': 'LOC', 'score': 0.60198957, 'word': '–ú–æ—Å–∫–≤–µ', 'start': 60, 'end': 66}
# {'entity_group': 'GEOPOLIT', 'score': 0.9631994, 'word': '–†–æ—Å—Å–∏–π—Å–∫–æ–π –§–µ–¥–µ—Ä–∞—Ü–∏–∏', 'start': 203, 'end': 223}
# {'entity_group': 'ORG', 'score': 0.85091865, 'word': '–ï–≤—Ä–∞–∑–∏–π—Å–∫–æ–≥–æ —ç–∫–æ–Ω–æ–º–∏—á–µ—Å–∫–æ–≥–æ —Å–æ—é–∑–∞.', 'start': 284, 'end': 318}

高度な使用法

上記のコードでは基本的な使用方法を示しています。高度な使用法として、異なるテキストやパラメータを調整することで、より柔軟な固有表現抽出を行うことができます。例えば、aggregation_strategy パラメータを変更することで、抽出結果の集約方法を変更できます。

# 高度な使用法の例
ner_pipeline = pipeline(
    "ner",
    model=model,
    tokenizer=tokenizer,
    aggregation_strategy="first"  # 集約方法を変更
)

# 新しいテキストを入力
new_text = "新しいテキストをここに入力します。"
new_results = ner_pipeline(new_text)

for entity in new_results:
    print(entity)

📄 ライセンス

このモデルは MIT ライセンスの下で公開されています。