convbert-base-turkish-cased-nerオープンソースモデル - 無料でデプロイし、トルコ語テキストの人名、地名、組織名を正確に識別

ホーム

Convbert Base Turkish Cased Ner

akdeniz27によって開発

ConvBERTurkをファインチューニングしたトルコ語固有表現認識モデルで、テキスト中の人名、組織名、地名を識別

シーケンスラベリング

Transformers

その他#トルコ語固有表現認識 #ConvBERTアーキテクチャ #高精度NER

ダウンロード数 791

リリース時間 : 3/2/2022

モデル概要

このモデルはConvBERTurkアーキテクチャに基づくトルコ語固有表現認識モデルで、トルコ語テキスト中の人名(PER)、組織名(ORG)、地名(LOC)エンティティを識別するために特別に設計されています。

モデル特徴

効率的なエンティティ認識

トルコ語テキスト中の人名、組織名、地名エンティティを正確に識別可能

ConvBERTアーキテクチャ

ConvBERTアーキテクチャを採用し、スパン動的畳み込みにより従来のBERTモデルを改善

高性能

トルコ語NERタスクで96%以上のF1スコアを達成

モデル能力

トルコ語テキスト処理

固有表現認識

人名認識

組織名認識

地名認識

使用事例

情報抽出

ニュースエンティティ抽出

トルコ語ニュースから重要な人物、組織、場所情報を抽出

例が示す通り、'Özlem Türeci博士'や'Uğur Şahin教授'などの人名を正確に識別可能

テキスト分析

ソーシャルメディア分析

トルコ語ソーシャルメディアコンテンツ内の言及エンティティを分析

🚀 トルコ語固有表現認識 (NER) モデル

このモデルは、有名なトルコ語NERデータセットのレビュー版を使用して、dbmdz/convbert-base-turkish-cased (ConvBERTurk) をファインチューニングしたモデルです。

(https://github.com/stefan-it/turkish-bert/files/4558187/nerdata.txt)

ConvBERTアーキテクチャは、"ConvBERT: Improving BERT with Span-based Dynamic Convolution" 論文で紹介されています。

🚀 クイックスタート

このトルコ語固有表現認識モデルは、特定のデータセットを用いてConvBERTurkをファインチューニングして作成されています。以下に、モデルの使用方法やファインチューニングのパラメータ、テスト結果を紹介します。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。ただし、原READMEに具体的なインストールコマンドが記載されていないため、このセクションでは詳細を省略します。

💻 使用例

基本的な使用法

model = AutoModelForTokenClassification.from_pretrained("akdeniz27/convbert-base-turkish-cased-ner")
tokenizer = AutoTokenizer.from_pretrained("akdeniz27/convbert-base-turkish-cased-ner")
ner = pipeline('ner', model=model, tokenizer=tokenizer, aggregation_strategy="first")
ner("<your text here>")

# エンティティグルーピングについては、"https://huggingface.co/transformers/_modules/transformers/pipelines/token_classification.html" を参照してください。

🔧 技術詳細

ファインチューニングパラメータ

task = "ner"
model_checkpoint = "dbmdz/convbert-base-turkish-cased"
batch_size = 8 
label_list = ['O', 'B-PER', 'I-PER', 'B-ORG', 'I-ORG', 'B-LOC', 'I-LOC']
max_length = 512 
learning_rate = 2e-5 
num_train_epochs = 3 
weight_decay = 0.01