Rota

🚀 ROTA

快速犯罪文本自动编码工具

犯罪司法研究常常需要将自由文本形式的犯罪描述转换为整体的指控类别，以辅助分析。例如，自由文本描述的“逃避警车追捕”会被编码为“妨碍执法”这一指控类别。由于自由文本的犯罪描述不规范，且通常需要对大量文本进行分类，这对研究人员来说可能是一个手动且耗时的过程。ROTA 是一个用于将犯罪文本转换为犯罪代码的机器学习模型。

目前，ROTA 可以预测给定犯罪文本的指控类别。指控类别是 2009 年 NCRP 代码手册：附录 F 中犯罪代码的标题之一。

该模型基于 公开可用数据 进行训练，这些数据来自一个包含全美 50 个州犯罪信息的对照表，并结合了另外三个手动标注的犯罪文本数据集。

指控类别示例

ROTA 应用程序托管在 Hugging Face 空间：https://huggingface.co/spaces/rti-international/rota-app

🚀 快速开始

使用 ROTA 可以快速将犯罪文本转换为犯罪代码，辅助犯罪司法研究中的数据分析。

✨ 主要特性

• 自动编码：将自由文本形式的犯罪描述自动转换为指控类别。
• 数据驱动：基于公开数据和手动标注数据集进行训练，具有较高的准确性。
• 可配置性：可以根据置信度分数过滤预测结果，提高预测的可靠性。

📚 详细文档

数据预处理

输入文本通过一系列预处理步骤进行标准化。首先，文本会经过 500 多个不区分大小写的正则表达式处理，这些表达式用于识别常见的拼写错误和缩写，并将文本扩展为更完整、正确的英文文本。然后，会从文本中去除一些特定于数据的前缀和后缀，例如某些州会在文本中包含法规编号。最后，去除输入文本中的标点符号（美元符号除外），去除单词之间的多个空格，并将文本转换为小写。

交叉验证性能

该模型使用 3 折交叉验证进行评估。除非另有说明，以下给出的数字是 3 折的平均值。

本仓库中的模型是在所有可用数据上进行训练的。因此，通常可以预期生产环境中的性能会（无法确切知晓）比以下给出的数字更好。

整体指标

注意：这些是每折值的平均值，因此宏平均是每折所有类别的宏平均的平均值。

每类别指标

注意：样本数 是每折预测的平均观测数，因此每个类别的总观测数大约是 样本数 的 3 倍。

使用置信度分数

如果将分类概率解释为置信度分数，我们可以使用它来过滤模型不太确定的预测结果。我们在 3 折交叉验证中应用了这一过程。以下数字表示在给定置信度分数阈值 p 的情况下，保留的预测数据的比例。我们给出了整体准确率和 MCC 指标，就好像模型仅在这部分置信预测的子集上进行评估一样。

📄 许可证

本项目采用 Apache-2.0 许可证。