Lightblue Reranker 0.5 Bincont Filt Gguf

🚀 reranker_bincont_filt_train

このモデルは、Qwen/Qwen2.5-0.5B-Instruct を reranker_bincont_filt_train データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.1613

🚀 クイックスタート

このモデルはテキストランキングに最適化されており、特定のデータセットでファインチューニングされています。以下の情報を参考に、モデルを利用してください。

📦 インストール

インストールに関する具体的な手順は提供されていません。

✨ 主な機能

• テキストランキングタスクに最適化されたモデルです。
• Qwen/Qwen2.5-0.5B-Instruct をベースに、特定のデータセットでファインチューニングされています。

📚 ドキュメント

モデル情報

• パイプラインタグ: text-ranking
• 量子化: Richard Erkhov による量子化
• GitHub: Github
• Discord: Discord
• モデルリクエスト: Request more models

モデル詳細

reranker_0.5_bincont_filt - GGUF

• モデル作成者: https://huggingface.co/lightblue/
• オリジナルモデル: https://huggingface.co/lightblue/reranker_0.5_bincont_filt/

オリジナルモデルの説明

• ライブラリ名: transformers
• ライセンス: other
• ベースモデル: Qwen/Qwen2.5-0.5B-Instruct
• タグ:
  • llama-factory
  • full
  • generated_from_trainer
• モデルインデックス:
  • 名前: reranker_bincont_filt_train
  • 結果: []

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 1e-05
• トレーニングバッチサイズ: 1
• 評価バッチサイズ: 1
• シード: 42
• 分散タイプ: multi-GPU
• デバイス数: 8
• 総トレーニングバッチサイズ: 8
• 総評価バッチサイズ: 8
• オプティマイザ: betas=(0.9,0.999) および epsilon=1e-08 の adamw_torch を使用。追加のオプティマイザ引数はありません。
• 学習率スケジューラタイプ: cosine
• 学習率スケジューラウォームアップ率: 0.01
• エポック数: 1.0

トレーニング結果

フレームワークバージョン

• Transformers 4.46.1
• Pytorch 2.4.0+cu121
• Datasets 3.1.0
• Tokenizers 0.20.3

🔧 技術詳細

トレーニングに関する技術的な詳細は、上記のトレーニングハイパーパラメータやトレーニング結果に記載されています。

📄 ライセンス

このモデルのライセンスは "other" です。詳細については、オリジナルモデルの説明を参照してください。