Longformer Base 4096 Bible

🚀 longformer-base-4096-bible

このモデルは、聖書の章の関連性を1から5まで予測するために、allenai/longformer-base-4096をファインチューニングしたものです。特定のデータセットで学習され、評価セットで優れた結果を達成しています。

🚀 クイックスタート

このモデルは、聖書の文章に対する関連性を1から5まで予測するために設計されています。各クエリに対して個別にファインチューニングすることができます。

✨ 主な機能

• 聖書の章の関連性を1から5まで予測します。
• 特定のデータセットで学習され、評価セットで高い精度を達成しています。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

このREADMEには具体的なコード例が記載されていないため、このセクションをスキップします。

📚 ドキュメント

モデルの説明

allenai/longformer-base-4096モデルをファインチューニングして、聖書の章の関連性を1から5まで予測するようにしました。

想定される用途と制限

聖書の文章に対する関連性を1から5まで予測します。各クエリに対して個別にファインチューニングすることができます。

学習と評価データ

1つのクエリ、章ID、章名、章の文章、関連性ラベルが含まれています。

学習手順

学習率をコサイン関数で調整し、2回のリスタートと4エポックのウォームアップを行いながら、12エポックの学習を行いました。

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

学習結果

フレームワークのバージョン

• Transformers 4.50.3
• Pytorch 2.6.0+cu124
• Datasets 2.18.0
• Tokenizers 0.21.1

🔧 技術詳細

このモデルは、allenai/longformer-base-4096をベースにしており、特定のデータセットで学習されています。学習には、コサイン関数による学習率の調整と、2回のリスタートと4エポックのウォームアップが行われました。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。