Distilbert Base Uncased Squad2 With Ner Mit Restaurant With Neg With Repeat

🚀 distilbert-base-uncased-squad2-with-ner-mit-restaurant-with-neg-with-repeat

このモデルは、twmkn9/distilbert-base-uncased-squad2 を squad_v2 と mit_restaurant データセットでファインチューニングしたバージョンで、特定のトークン分類タスクに使用できます。

🚀 クイックスタート

このモデルは、関連するトークン分類タスクに直接使用できます。以下のコードを使用してモデルをロードできます。

from transformers import AutoModelForTokenClassification, AutoTokenizer

model_name = "distilbert-base-uncased-squad2-with-ner-mit-restaurant-with-neg-with-repeat"
model = AutoModelForTokenClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

✨ 主な機能

• 事前学習モデル twmkn9/distilbert-base-uncased-squad2 をベースにファインチューニングされ、squad_v2 と mit_restaurant データセットで訓練されています。
• トークン分類タスクに使用できます。

📦 インストール

使用する前に、以下の依存ライブラリがインストールされていることを確認してください。

pip install transformers==4.8.2 torch==1.8.1+cu111 datasets==1.8.0 tokenizers==0.10.3

🔧 技術詳細

訓練ハイパーパラメータ

訓練過程では、以下のハイパーパラメータが使用されました。

• 学習率（learning_rate）：2e-05
• 訓練バッチサイズ（train_batch_size）：16
• 評価バッチサイズ（eval_batch_size）：16
• 乱数シード（seed）：42
• オプティマイザ（optimizer）：Adam（betas=(0.9, 0.999)、epsilon=1e-08）
• 学習率スケジューラのタイプ（lr_scheduler_type）：線形
• 訓練エポック数（num_epochs）：5

フレームワークバージョン

• Transformers：4.8.2
• Pytorch：1.8.1+cu111
• Datasets：1.8.0
• Tokenizers：0.10.3

📄 情報テーブル