Lightblue Reranker 0.5 Cont Filt Gguf

🚀 reranker_continuous_filt_train

このモデルは、Qwen/Qwen2.5-0.5B-Instruct を reranker_continuous_filt_train データセットでファインチューニングしたバージョンです。評価セットでは、以下の結果を達成しています。

• 損失: 0.2805

🚀 クイックスタート

このセクションでは、モデルの概要や基本的な使い方を説明します。

✨ 主な機能

このモデルは、特定のデータセットでファインチューニングされたバージョンであり、特定のタスクに特化した性能を発揮します。

📦 インストール

インストールに関する具体的な手順は提供されていません。

💻 使用例

使用例に関する具体的なコードは提供されていません。

📚 ドキュメント

モデル情報

• パイプラインタグ: text-ranking
• 量子化: Richard Erkhovによって行われました。
• GitHub: https://github.com/RichardErkhov
• Discord: https://discord.gg/pvy7H8DZMG
• モデルリクエスト: https://github.com/RichardErkhov/quant_request

モデル詳細

元のモデル情報

• ライブラリ名: transformers
• ライセンス: other
• ベースモデル: Qwen/Qwen2.5-0.5B-Instruct
• タグ: llama-factory, full, generated_from_trainer

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 1e-05
• トレーニングバッチサイズ: 1
• 評価バッチサイズ: 1
• シード: 42
• 分散タイプ: multi-GPU
• デバイス数: 8
• 総トレーニングバッチサイズ: 8
• 総評価バッチサイズ: 8
• オプティマイザ: betas=(0.9,0.999)、epsilon=1e-08のadamw_torchを使用。追加のオプティマイザ引数はありません。
• 学習率スケジューラタイプ: cosine
• 学習率スケジューラウォームアップ比率: 0.01
• エポック数: 1.0

トレーニング結果

フレームワークバージョン

• Transformers 4.46.1
• Pytorch 2.4.0+cu121
• Datasets 3.1.0
• Tokenizers 0.20.3

🔧 技術詳細

技術的な詳細に関する具体的な説明は提供されていません。

📄 ライセンス

ライセンス情報: other