M

Math Fasttext Classifier

由kenhktsui開發
一個基於fasttext的文本分類器,用於將文本分類為數學類或其他類,適用於LLM預訓練數據整理
下載量 124
發布時間 : 2/25/2025

模型概述

該模型是一個高效的fasttext分類器,專門用於識別數學相關內容。它在160萬條記錄的平衡數據集上訓練,測試F1得分達到0.99,特別適合用於增強LLM的數學能力預訓練數據整理。

模型特點

高性能分類
在測試集上達到0.99的F1分數,能夠準確區分數學和非數學內容
極速處理
在CPU上可實現約2000文檔/秒的高吞吐量處理
數據整理專用
專為LLM預訓練數據整理設計,特別適合增強模型的數學能力
平衡數據集
使用50:50比例的數學和非數學內容混合數據集訓練

模型能力

文本分類
數學內容識別
高速文本處理

使用案例

LLM預訓練
數學能力增強
用於篩選和增強LLM預訓練數據中的數學相關內容
可幫助提升LLM的數學推理能力,如QWEN2.5-MATH所示例
內容過濾
數學內容篩選
從大量文本中快速識別數學相關內容
高效分離數學和非數學內容
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase