Scinertopic

🚀 SciNerTopic - 科学テキスト向けNER強化トランスフォーマーベースのトピックモデリング

このプロジェクトは、科学用語を識別するためにallenai/scibert_scivocab_casedをベースにしたNERモデルです。SciERCデータセットを使用してファインチューニングされ、様々な科学用語を特定することができます。

🚀 クイックスタート

このモデルの使用方法を試すには、下記のColabノートブックを利用できます。

✨ 主な機能

• 科学用語の識別: タスク、手法、評価指標、データ、その他の科学用語、一般用語など、様々な科学用語を識別できます。
• トピックモデリング: BERTopicにインスパイアされたNER強化トピックモデリングを行うことができます。

📦 インストール

このモデルはHugging FaceのTransformersライブラリを使用しています。必要なライブラリをインストールすることで使用できます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("RJuro/SciNERTopic")
model_trf = AutoModelForTokenClassification.from_pretrained("RJuro/SciNERTopic")

nlp = pipeline("ner", model=model_trf, tokenizer=tokenizer, aggregation_strategy='average')

📚 ドキュメント

識別対象の科学用語の種類

• タスク: アプリケーション、解決すべき問題、構築するシステムなど。例: 情報抽出、機械読解システム、画像セグメンテーションなど。
• 手法: 使用する手法、モデル、システム、ツール、システムのコンポーネント、フレームワークなど。例: 言語モデル、CORENLP、POSパーサー、カーネル法など。
• 評価指標: システムや手法の品質を表す指標、尺度、エンティティなど。例: F1、BLEU、精度、再現率、ROC曲線、平均逆順位、平均二乗誤差、ロバスト性、時間計算量など。
• データ: データ、データセット、リソース、コーパス、知識ベースなど。例: 画像データ、音声データ、ステレオ画像、二言語辞書、言い換え質問、CoNLL、Panntreebank、WordNet、Wikipediaなど。
• その他の科学用語: 科学用語であるが上記のいずれのカテゴリにも属さないフレーズ。例: 物理的または幾何学的制約、定性的事前知識、談話構造、構文規則、談話構造、木構造、ノード、木カーネル、特徴、ノイズ、基準など。
• 一般用語: エンティティを指す可能性のある一般的な用語または代名詞で、それ自体は情報的ではなく、多くの場合接続語として使用されます。例: モデル、アプローチ、事前知識、それら、それなど。

学習設定

• 学習率: 1e-05
• エポック数: 10

パフォーマンス

• 評価損失: 0.401
• 精度: 0.577
• 再現率: 0.632
• F1値: 0.603

🔧 技術詳細

このモデルはallenai/scibert_scivocab_casedをベースにしており、SciERCデータセットを使用してファインチューニングされています。トランスフォーマーベースのアーキテクチャを使用して、科学用語を識別するためのNERタスクを行っています。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

モデルの引用

@misc {roman_jurowetzki_2022,
	author       = { {Roman Jurowetzki, Hamid Bekamiri} },
	title        = { SciNERTopic - NER enhanced transformer-based topic modelling for scientific text },
	year         = 2022,
	url          = { https://huggingface.co/RJuro/SciNERTopic },
	doi          = { 10.57967/hf/0095 },
	publisher    = { Hugging Face }
}