Cl Tohoku Bert Base Japanese V3 Jlpt Classifier

🚀 テキスト分類器（JLPTレベル判定）

このテキスト分類器は、JLPTレベルを割り当てるためのものです。文章レベルで学習されています。事前学習済みのcl-tohoku-bert-japanese-v3を、語学学習ウェブサイトから取得した約5000文のラベル付きデータでファインチューニングしています。同じ分布のデータでは良好な性能を示しますが、公式JLPT教材からなるテストデータではそれほど良い結果が得られません。それでも、文章の難易度を大まかに推定することはできます。

🚀 クイックスタート

このテキスト分類器は、文章のJLPTレベルを判定するために使用できます。事前学習済みモデルをファインチューニングしているため、特定のデータ分布では良好な性能を示します。

✨ 主な機能

• 文章のJLPTレベルを判定する。
• 事前学習済みのcl-tohoku-bert-japanese-v3をファインチューニングしている。

📚 ドキュメント

性能評価

学習データと同じ分布のデータでの性能

              precision    recall  f1-score   support
          N5       0.88      0.88      0.88        25
          N4       0.90      0.89      0.90        53
          N3       0.78      0.90      0.84        62
          N2       0.71      0.79      0.75        47
          N1       0.95      0.77      0.85        73
    accuracy                           0.84       260
   macro avg       0.84      0.84      0.84       260
weighted avg       0.85      0.84      0.84       260

公式JLPT教材のテストデータでの性能

              precision    recall  f1-score   support
          N5       0.62      0.66      0.64       145
          N4       0.34      0.36      0.35       143
          N3       0.33      0.67      0.45       197
          N2       0.26      0.20      0.23       192
          N1       0.59      0.08      0.15       202
    accuracy                           0.38       879
   macro avg       0.43      0.39      0.36       879
weighted avg       0.42      0.38      0.34       879

📄 ライセンス

このプロジェクトはCCライセンスの下で提供されています。

📚 引用

@inproceedings{benedetti-etal-2024-automatically,
    title = "Automatically Suggesting Diverse Example Sentences for {L}2 {J}apanese Learners Using Pre-Trained Language Models",
    author = "Benedetti, Enrico  and
      Aizawa, Akiko  and
      Boudin, Florian",
    editor = "Fu, Xiyan  and
      Fleisig, Eve",
    booktitle = "Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 4: Student Research Workshop)",
    month = aug,
    year = "2024",
    address = "Bangkok, Thailand",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.acl-srw.11",
    pages = "114--131"
}