Indicner

🚀 IndicNER

IndicNERは、インド諸言語の文章から固有表現を識別するタスクを完了するために学習されたモデルです。当モデルは、上記の11種類のインド諸言語に対して数百万文にわたって特別に微調整されています。その後、モデルは人がアノテーションしたテストセットと他の複数の公開されているインドの固有表現認識（NER）データセットを用いてベンチマーク評価されます。

🚀 クイックスタート

IndicNERは、インド諸言語の文章から固有表現を識別するために開発されたモデルです。このモデルは、11種類のインド諸言語に対して微調整されており、多くのインドのNERデータセットでベンチマーク評価されています。

✨ 主な機能

• 11種類のインド諸言語（アッサム語、ベンガル語、グジャラート語、ヒンディー語、カンナダ語、マラヤーラム語、マラーティー語、オリヤー語、パンジャーブ語、タミル語、テルグ語）に対応した固有表現認識。
• 既存のSamanantarコーパスから採掘したデータセットを用いて学習。
• ベースモデルとしてbert-base-multilingual-uncasedを使用し、NERデータセットに対して微調整。

📦 インストール

このモデルは、同じHuggingfaceリポジトリからダウンロードできます。

2022年12月20日の更新: IndicNERとNaamapadamに関する新しい論文を公開しました。論文には別のモデルが報告されています。近々このモデルをこのリポジトリに更新します。

💻 使用例

基本的な使用法

このColabノートブックを使用して、IndicNERの使用例や、Naampadamデータセットで事前学習されたモデルを微調整して独自のNERモデルを構築することができます。

📚 ドキュメント

学習コーパス

当モデルは、既存のSamanantarコーパスから採掘したデータセットを用いて学習されました。ベースモデルとしてbert-base-multilingual-uncasedを使用し、前述のNERデータセットに対して微調整しました。

引用情報

IndicNERを使用する場合は、以下の論文を引用してください。

@misc{mhaske2022naamapadam,
  doi = {10.48550/ARXIV.2212.10168},
  url = {https://arxiv.org/abs/2212.10168},
  author = {Mhaske, Arnav and Kedia, Harshit and Doddapaneni, Sumanth and Khapra, Mitesh M. and Kumar, Pratyush and Murthy, Rudra and Kunchukuttan, Anoop},
  title = {Naamapadam: A Large-Scale Named Entity Annotated Data for Indic Languages}
  publisher = {arXiv},
  year = {2022},
  copyright = {arXiv.org perpetual, non-exclusive license}
}

以下の場合には、ぜひご意見をお聞かせください。

• 当リソースを使用している場合。どのようにリソースを活用しているか教えてください。
• 当リソースに関するフィードバックがある場合。

📄 ライセンス

IndicNERのコード（およびモデル）は、MITライセンスの下で公開されています。

🔗 関連情報

貢献者

• Arnav Mhaske _{(AI4Bharat, IITM)}
• Harshit Kedia _{(AI4Bharat, IITM)}
• Sumanth Doddapaneni _{(AI4Bharat, IITM)}
• Mitesh M. Khapra _{(AI4Bharat, IITM)}
• Pratyush Kumar _{(AI4Bharat, Microsoft, IITM)}
• Rudra Murthy _{(AI4Bharat, IBM)}
• Anoop Kunchukuttan _{(AI4Bharat, Microsoft, IITM)}

このプロジェクトは、AI4Bharatイニシアチブの一環として、ボランティアによる努力の成果です。

連絡先

• Anoop Kunchukuttan (anoop.kunchukuttan@gmail.com)
• Rudra Murthy V (rmurthyv@in.ibm.com)