Llm Data Textbook Quality Fasttext Classifier V1

🚀 llm-data-textbook-quality-fasttext-classifier-v1

該項目基於 fasttext 構建了一個文本分類模型，是 llm-data-textbook-quality-classifier-v1 的優化版本。它不僅能獲得更高的 F1 分數，還能在 CPU 上每秒對 2000 多個示例進行分類。該模型可判斷文本是否為教科書質量的數據，可在訓練大語言模型（LLM）時作為數據篩選器使用。需注意，教科書質量是高質量的一個子集。

📚 詳細文檔

模型性能

💻 使用示例

基礎用法

from typing import List
import re
from huggingface_hub import hf_hub_download
import fasttext


model = fasttext.load_model(hf_hub_download("kenhktsui/llm-data-textbook-quality-fasttext-classifer-v1", "model.bin"))


def replace_newlines(text: str) -> str:
  return re.sub("\n+", " ", text)


def predict(text_list: List[str]) -> List[dict]:
  text_list = [replace_newlines(text) for text in text_list]
  pred = model.predict(text_list)
  return [{"label": l[0].lstrip("__label__"), "score": s[0]}
           for l, s in zip(*pred)]


predict(["Hi"])
# Output: [{'label': 'LOW_QUALITY', 'score': 1.00001}]

🔍 基準測試

平均質量分數定義為高質量的平均概率輸出。該分類器符合預期，教科書類別的得分最高，反映了該模型的有效性。維基百科的得分較低，因為它畢竟不是教科書。網頁數據的得分最低。

📄 許可證

本項目採用 MIT 許可證。