Nel Mgenre Multilingual

🚀 impresso-project/nel-mgenre-multilingual モデルカード

Impresso多言語固有表現リンキング (NEL) モデルは、De Cao et alによって提案された mGENRE (multilingual Generative ENtity REtrieval) をベースにしています。これは、mBARTに基づく固有表現曖昧性解消のためのシーケンス-to-シーケンスアーキテクチャです。このモデルは 制約付き生成 を使用して、Wikidata/QIDsにマッピングされた固有表現名を出力します。

このモデルは、歴史的なテキストに適応させ、HIPE - 2022データセットでファインチューニングされました。このデータセットには、さまざまな歴史的文書タイプと言語が含まれています。

📚 詳細ドキュメント

モデルの説明

• 開発者: Impressoチーム のEPFL。このプロジェクトは、言語、時間、モダリティにまたがる歴史的メディア分析に焦点を当てた学際的なプロジェクトです。スイス国立科学財団 (CRSII5_173719, CRSII5_213585) とルクセンブルク国立研究財団 (助成番号17498891) によって資金提供されています。
• モデルの種類: 固有表現リンキングのための制約付きビームサーチを備えたmBARTベースのシーケンス-to-シーケンスモデル
• 言語: 多言語 (100以上の言語、フランス語、ドイツ語、英語に最適化)
• ライセンス: AGPL v3+
• ファインチューニング元: [facebook/mgenre - wiki](https://huggingface.co/facebook/mgenre - wiki)

モデルアーキテクチャ

• アーキテクチャ: 制約付きビームサーチを備えたmBARTベースのseq2seq

🔧 トレーニングの詳細

トレーニングデータ

このモデルは、以下のデータセットでトレーニングされました。

データセットエイリアス	README	文書タイプ	言語	適用用途	プロジェクト	ライセンス
ajmc	リンク	古典的な注釈	de, fr, en	NERC-Coarse, NERC-Fine, EL	AjMC
hipe2020	リンク	歴史的な新聞	de, fr, en	NERC-Coarse, NERC-Fine, EL	CLEF-HIPE-2020
topres19th	リンク	歴史的な新聞	en	NERC-Coarse, EL	Living with Machines
newseye	リンク	歴史的な新聞	de, fi, fr, sv	NERC-Coarse, NERC-Fine, EL	NewsEye
sonar	リンク	歴史的な新聞	de	NERC-Coarse, EL	SoNAR

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, pipeline

NEL_MODEL_NAME = "impresso-project/nel-mgenre-multilingual"
nel_tokenizer = AutoTokenizer.from_pretrained(NEL_MODEL_NAME)

nel_pipeline = pipeline("generic-nel", model=NEL_MODEL_NAME,
                        tokenizer=nel_tokenizer,
                        trust_remote_code=True,
                        device='cpu')

sentence = "Le 0ctobre 1894, [START] Dreyfvs [END] est arrêté à Paris, accusé d'espionnage pour l'Allemagne — un événement qui déch1ra la société fr4nçaise pendant des années."
print(nel_pipeline(sentence))

出力形式

[
    {
        'surface': 'Dreyfvs', 
        'wkd_id': 'Q171826', 
        'wkpedia_pagename': 'Alfred Dreyfus', 
        'wkpedia_url': 'https://fr.wikipedia.org/wiki/Alfred_Dreyfus', 
        'type': 'UNK', 
        'confidence_nel': 99.98, 
        'lOffset': 24, 
        'rOffset': 33}]

エンティティのタイプが UNK であるのは、モデルがエンティティタイプに関してトレーニングされていないためです。confidence_nel スコアは、モデルの予測の確信度を示します。

🎯 使用事例

• ノイズの多いOCR環境におけるエンティティの曖昧性解消
• 歴史的な名前を現代のWikidataエンティティにリンクする
• 歴史的アーカイブからの下流のイベント抽出と伝記生成を支援する

⚠️ 制限事項

• トークン化と不正なスパンに敏感
• Wikidataに存在しないエンティティや高度に曖昧な文脈では精度が低下する
• 歴史的なエンティティの言及に焦点を当てているため、現代のテキストでの性能は異なる場合がある

🌱 環境への影響

• ハードウェア: ファインチューニングには1台のA100 (80GB)
• トレーニング時間: 約12時間
• 推定CO₂排出量: 約2.3 kg CO₂eq

📞 お問い合わせ

• ウェブサイト: https://impresso-project.ch

📄 ライセンス

このモデルは AGPL v3+ ライセンスの下で提供されています。