Modernbert Large Llm Router

🚀 ModernBERT-large-llm-router

このモデルは、answerdotai/ModernBERT-large を DevQuasar/llm_router_dataset-synth でファインチューニングしたバージョンです。このモデルは、LLMルーティングのクエリを分類することを目的としています。より高度なクエリは large_llm のために 1 とラベル付けされ、より単純なクエリは small_llm のために 0 とラベル付けされます。

テストセットでは以下の結果を達成しています。

• 損失: 0.0536
• F1: 0.9933

🚀 クイックスタート

このモデルは、LLMルーティングのクエリ分類に使用できます。高度なクエリは large_llm 用に、単純なクエリは small_llm 用にラベル付けされます。

✨ 主な機能

• 高度なクエリを large_llm 用に、単純なクエリを small_llm 用に分類します。
• テストセットで高いF1スコアを達成しています。

📚 ドキュメント

モデルの説明

追加情報については、元の answerdotai/ModernBERT-large のモデルカードを参照してください。このモデルは、LLMルーティングのクエリを分類することを目的としています。

学習手順

注釈付きの学習手順は このノートブック で利用できます。方法論とコードのクレジットは、Phillip Schmid の Fine-tune classifier with ModernBERT in 2025 のブログ記事にあります。

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• learning_rate: 5e-05
• train_batch_size: 32
• eval_batch_size: 16
• seed: 42
• optimizer: betas=(0.9,0.999) と epsilon=1e-08 を持つ adamw_torch_fused を使用し、optimizer_args=追加のオプティマイザ引数はありません
• lr_scheduler_type: linear
• num_epochs: 5

学習結果

フレームワークバージョン

• Transformers 4.48.0.dev0
• Pytorch 2.5.1+cu124
• Datasets 3.1.0
• Tokenizers 0.21.0

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。