Rota

🚀 ROTA

迅速な犯罪記述の自動コード化を実現する機械学習モデル

ROTAは、犯罪記述の自由記述を犯罪コードに変換するための機械学習モデルです。刑事司法研究において、自由記述の犯罪記述を全体的な罪名カテゴリに変換する作業は分析を支援するために必要ですが、この作業は標準化されていないため、研究者にとって手動で時間がかかる作業になります。ROTAはこの問題を解決し、自動的に犯罪記述をコード化することができます。

ROTAアプリケーションはHugging Face Spacesにホストされています: https://huggingface.co/spaces/rti-international/rota-app

🚀 クイックスタート

刑事司法研究では、自由記述の犯罪記述を全体的な罪名カテゴリに変換して分析を支援する必要があります。例えば、「警察車両から逃走する」という自由記述の犯罪は、「法令執行妨害」という罪名カテゴリにコード化されます。自由記述の犯罪記述は標準化されておらず、大量に分類する必要があるため、研究者にとって手動で時間がかかる作業になります。ROTAは、犯罪記述を犯罪コードに変換するための機械学習モデルです。

現在、ROTAは与えられた犯罪記述の罪名カテゴリを予測します。罪名カテゴリは、2009 NCRP Codebook: Appendix Fにある犯罪コードの見出しの1つです。

このモデルは、50州すべての犯罪を含むクロスウォークと、追加の3つの手動ラベル付けされた犯罪記述データセットを組み合わせた公開データで学習されています。

罪名カテゴリの例

データ前処理

入力テキストは一連の前処理手順を通じて標準化されます。まず、500以上の大文字小文字を区別しない正規表現のシーケンスを通して、一般的な誤字や略語を特定し、テキストをより完全で正しい英語のテキストに拡張します。次に、データ固有のいくつかの接頭辞や接尾辞をテキストから削除します。例えば、一部の州では法律条文がテキストの一部として含まれています。最後に、入力から句読点（ドル記号を除く）を削除し、単語間の複数の空白を削除し、テキストを小文字に変換します。

🔧 技術詳細

交差検証の性能

このモデルは3分割交差検証を使用して評価されました。特に明記しない限り、以下に示す数値は3分割の平均値です。

このリポジトリのモデルは利用可能なすべてのデータで学習されています。このため、通常、実稼働時のパフォーマンスは以下に示す数値よりも（不明ですが）良いと期待できます。

全体的なメトリクス

注: これらは各分割の値の平均です。したがって、マクロ平均は各分割のすべてのカテゴリのマクロ平均の平均です。

カテゴリ別メトリクス

注: サポートは各分割で予測された観測値の平均数です。したがって、各クラスの観測値の総数はおよそサポートの3倍です。

信頼度スコアの使用

分類確率を信頼度スコアとして解釈すると、モデルが自信のない予測をフィルタリングするために使用できます。このプロセスを3分割交差検証で適用しました。以下に示す数値は、信頼度スコアのカットオフ値pを指定した場合に、予測データのどれだけが保持されるかを示しています。以下の数値は、モデルがこの自信のある予測のサブセットのみで評価された場合の全体的な正解率とMCCメトリクスを示しています。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。