Lightblue Reranker 0.5 Cont Filt 7max Gguf

🚀 reranker_continuous_filt_max7_train

このモデルは、Qwen/Qwen2.5-0.5B-Instruct を reranker_continuous_filt_max7_train データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.3869

🚀 クイックスタート

このモデルは reranker_continuous_filt_max7_train データセットでファインチューニングされており、特定のタスクにおいて良好な性能を発揮します。

✨ 主な機能

• 特定のデータセットでファインチューニングされており、高度な性能を備えています。
• 評価セットで低い損失率を達成しています。

📦 インストール

インストールに関する具体的な手順は提供されていません。

📚 ドキュメント

モデル情報

関連リンク

• Github
• Discord
• 他のモデルのリクエスト

量子化モデル一覧

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 1e-05
• train_batch_size: 1
• eval_batch_size: 1
• seed: 42
• distributed_type: multi-GPU
• num_devices: 8
• total_train_batch_size: 8
• total_eval_batch_size: 8
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.01
• num_epochs: 1.0

学習結果

フレームワークバージョン

• Transformers 4.46.1
• Pytorch 2.4.0+cu121
• Datasets 3.1.0
• Tokenizers 0.20.3

🔧 技術詳細

このモデルは Qwen/Qwen2.5-0.5B-Instruct を reranker_continuous_filt_max7_train データセットでファインチューニングすることで作成されました。学習には特定のハイパーパラメータが使用され、複数のGPUを用いた分散学習が行われました。

📄 ライセンス

このモデルは other ライセンスの下で提供されています。