Bert Paper Classifier Arxiv

🚀 bert-paper-classifier

このモデルは、arXivの論文のタイトルと概要を含むデータセットで、microsoft/BiomedNLP-PubMedBERT-base-uncased-abstractをファインチューニングしたバージョンです。

🚀 クイックスタート

このモデルは、論文のタイトル（必要に応じて概要）を入力として、arXivの分類用語を予測することを目的としています。これは数学、コンピュータサイエンス、物理学などの論文に関連しています。例えば、元のTransformer論文の最も可能性の高いカテゴリとして、cs.CL（計算と言語）を予測する可能性があります。

📚 ドキュメント

意図された用途と制限

このモデルは、論文のタイトル（必要に応じて概要）を与えられた場合に、arXivの分類用語を予測することを目的としています。これは数学、コンピュータサイエンス、物理学などの論文に関連しています。

トレーニング手順

モデルのファインチューニングのコードは、該当するノートブックにあります。

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

• learning_rate: 5e-05
• train_batch_size: 128
• eval_batch_size: 32
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 3

フレームワークのバージョン

• Transformers 4.28.1
• Pytorch 2.0.0+cu117
• Datasets 2.11.0
• Tokenizers 0.13.3

📄 ライセンス

このモデルはMITライセンスの下で提供されています。