Klue Roberta Small 3i4k Intent Classification

🚀 ファインチューニング済みモデル

このモデルは意図分類タスクに特化しており、事前学習済みモデルをkor_3i4kデータセットでファインチューニングすることで構築されました。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

✨ 主な機能

• 意図分類タスクに対応した事前学習済みモデルのファインチューニング。
• 複数の意図ラベル（fragment、statement、questionなど）に対する分類が可能。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを実行してください。

pip install transformers

💻 使用例

基本的な使用法

from transformers import RobertaTokenizerFast, RobertaForSequenceClassification, TextClassificationPipeline

# HuggingFace Model Hubからファインチューニング済みモデルをロード
HUGGINGFACE_MODEL_PATH = "bespin-global/klue-roberta-small-3i4k-intent-classification"
loaded_tokenizer = RobertaTokenizerFast.from_pretrained(HUGGINGFACE_MODEL_PATH )
loaded_model = RobertaForSequenceClassification.from_pretrained(HUGGINGFACE_MODEL_PATH )

# Pipelineを使用
text_classifier = TextClassificationPipeline(
    tokenizer=loaded_tokenizer, 
    model=loaded_model, 
    return_all_scores=True
)

# 予測
text = "your text"

preds_list = text_classifier(text)
best_pred = preds_list[0]
print(f"Label of Best Intentatioin: {best_pred['label']}")
print(f"Score of Best Intentatioin: {best_pred['score']}")

📚 ドキュメント

ファインチューニングの詳細

• 事前学習モデル : klue/roberta-small
• ファインチューニング用データセット : 3i4k
  • トレーニングデータ : 46,863
  • 検証データ : 8,271 (トレーニングデータの15%)
  • テストデータ : 6,121
• ラベル情報
  • 0: "fragment",
  • 1: "statement",
  • 2: "question",
  • 3: "command",
  • 4: "rhetorical question",
  • 5: "rhetorical command",
  • 6: "intonation-dependent utterance"
• トレーニングパラメータ

{
    "epochs": 3 (設定は10だが早期終了),
    "batch_size":32,
    "optimizer_class": "<keras.optimizer_v2.adam.Adam'>",
    "optimizer_params": {
        "lr": 5e-05
    },
    "min_delta": 0.01
}

評価結果

                               precision    recall  f1-score   support

                      command       0.89      0.92      0.90      1296
                     fragment       0.98      0.96      0.97       600
intonation-depedent utterance       0.71      0.69      0.70       327
                     question       0.95      0.97      0.96      1786
           rhetorical command       0.87      0.64      0.74       108
          rhetorical question       0.61      0.63      0.62       174
                    statement       0.91      0.89      0.90      1830

                     accuracy                           0.90      6121
                    macro avg       0.85      0.81      0.83      6121
                 weighted avg       0.90      0.90      0.90      6121

📄 ライセンス

このモデルはCC BY-NC 4.0ライセンスの下で提供されています。

📖 引用と著者

このモデルはBespin GlobalのJaehyeongによって開発されました。