Llm Data Textbook Quality Fasttext Classifier V1

🚀 llm-data-textbook-quality-fasttext-classifier-v1

このモデルはfasttextをベースに構築されており、llm-data-textbook-quality-classifier-v1の最適化バージョンです。F1スコアが高く、CPUで1秒あたり2000以上のサンプルを分類することができます。このモデルは、テキストが教科書品質のデータであるかどうかを分類することができ、大規模言語モデル（LLM）を学習する際のデータキュレーションのフィルターとして使用できます。なお、教科書品質は高品質の一部です。

🚀 クイックスタート

このモデルは、テキストが教科書品質のデータであるかどうかを分類することができます。大規模言語モデル（LLM）を学習する際のデータキュレーションのフィルターとして使用できます。

✨ 主な機能

• fasttextをベースに構築された最適化モデル
• 高いF1スコアを達成
• CPUで1秒あたり2000以上のサンプルを分類可能
• テキストが教科書品質のデータであるかどうかを分類
• 大規模言語モデル（LLM）のデータキュレーションのフィルターとして使用可能

📦 インストール

このモデルを使用するには、fasttextとhuggingface_hubライブラリが必要です。以下のコマンドでインストールできます。

pip install fasttext huggingface_hub

💻 使用例

基本的な使用法

from typing import List
import re
from huggingface_hub import hf_hub_download
import fasttext


model = fasttext.load_model(hf_hub_download("kenhktsui/llm-data-textbook-quality-fasttext-classifer-v1", "model.bin"))


def replace_newlines(text: str) -> str:
  return re.sub("\n+", " ", text)


def predict(text_list: List[str]) -> List[dict]:
  text_list = [replace_newlines(text) for text in text_list]
  pred = model.predict(text_list)
  return [{"label": l[0].lstrip("__label__"), "score": s[0]}
           for l, s in zip(*pred)]


predict(["Hi"])
# Output: [{'label': 'LOW_QUALITY', 'score': 1.00001}]

📚 ドキュメント

モデルの性能

ベンチマーク

平均品質スコアは、HIGH_QUALITYの平均確率出力として定義されています。この分類器は期待通りの結果を示しており、教科書カテゴリが最も高いスコアを記録しています。一方、Wikipediaのスコアは低く、これはWikipediaが教科書ではないためです。ウェブデータのスコアは最も低くなっています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。