Skillnerオープンソーストークン分類モデル - 求人広告中のスキルキーワードを高精度に識別する

ホーム

Skillner

ihkによって開発

jobbert-base-casedをファインチューニングしたトークン分類モデルで、採用広告のスキルキーワードを識別するために特別に設計されています

シーケンスラベリング

Transformers

#採用スキル識別 #BERTファインチューニング #職務記述書解析

ダウンロード数 403

リリース時間 : 10/31/2023

モデル概要

このモデルは職務記述テキストを分析し、その中のスキルキーワード（プログラミング言語、ツールなど）を識別し、B-SKILL/I-SKILLラベルを出力します。採用情報の自動処理シナリオに適しています。

モデル特徴

採用分野の専門化

320万件の採用広告で事前学習されており、職業記述テキストに特別な最適化が施されています

細粒度スキル識別

スキル単語の開始(B-SKILL)と継続部分(I-SKILL)を区別できます

効率的なファインチューニング

4112件の注釈付きデータでファインチューニング後、F1値が0.6136を達成

モデル能力

採用テキスト分析

スキルキーワード抽出

シーケンスラベリング

自然言語処理

使用事例

HRテクノロジー

履歴書自動スクリーニング

職務要件のキースキルを自動抽出し、候補者の履歴書とマッチング

精度97.01%、Python/CSSなどのスキル単語を識別可能

採用広告分析

高頻度スキル需要を統計し、業界スキルトレンドレポートを生成

再現率68.14%、大部分の明示的なスキル記述を捕捉可能

🚀 トークン分類モデル

このモデルは、トークン分類タスクに特化した、jjzha/jobbert-base-cased のファインチューニング版です。評価セットでは以下の結果を達成しています。

🚀 クイックスタート

このモデルは、求人広告のコーパスから抽出した約320万文で事前学習されたBERTトランスフォーマーモデル jjzha/jobbert-base-cased をベースにしています。与えられたシーケンス内の各トークンに対してラベルを予測するために、トークン分類ヘッドがモデルの上部に追加されています。

✨ 主な機能

トークン分類タスクに最適化されています。
求人広告の文書に対して高い精度で技能ラベルを予測します。

📚 ドキュメント

モデルの詳細

ベースモデル (jjzha/jobbert-base-cased) は、マスク言語モデリング (MLM) の目的で求人広告のコーパス約320万文で事前学習されたBERTトランスフォーマーモデルです。与えられたシーケンス内の各トークンに対してラベルを予測するために、トークン分類ヘッドがモデルの上部に追加されています。この場合、求人内容の各トークンに対して、'B-SKILL'、'I-SKILL'、または 'O'（技能ではない）のいずれかのラベルを予測します。

学習と評価データ

このモデルは4112の求人広告文で学習されました。

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

ハイパーパラメータ	値
learning_rate	5e-05
train_batch_size	16
eval_batch_size	16
seed	42
optimizer	Adam (betas=(0.9,0.999), epsilon=1e-08)
lr_scheduler_type	linear
num_epochs	5

学習結果

学習損失	エポック	ステップ	検証損失	正解率	適合率	再現率	F1値
記録なし	1.0	257	0.0769	0.9725	0.5578	0.7003	0.6210
0.0816	2.0	514	0.1051	0.9653	0.5086	0.7445	0.6044
0.0816	3.0	771	0.0986	0.9709	0.5761	0.7161	0.6385
0.0262	4.0	1028	0.1140	0.9703	0.5627	0.6940	0.6215
0.0262	5.0	1285	0.1244	0.9701	0.5581	0.6814	0.6136