Czert B Base Cased Long Zero Shot

🚀 CZERT

このリポジトリには、論文 Czert – Czech BERT-like Model for Language Representation のために学習された Czert-B-base-cased-long-zero-shot モデルが保存されています。詳細については、論文を参照してください。

これは、長文書に対するファインチューニングを行わずに作成された Czert-B-base-cased の長文版です。位置埋め込みは、元の Czert-B モデルの位置埋め込みを単純に繰り返すことで作成されました。トークン化には、BertTokenizer を使用してください。AutoTokenizer とは併用できません。

🚀 クイックスタート

このセクションでは、CZERT モデルに関する概要と使用方法の基本情報を提供します。

✨ 主な機能

• 複数の下流タスク（文レベル、文書レベル、トークンレベル）での評価が可能。
• 事前学習済みモデルとファインチューニング済みモデルが提供されている。

📦 利用可能なモデル

事前学習済みモデル

MLM & NSP のみ の事前学習済みモデルをダウンロードできます。

CZERT-A-v1 CZERT-B-v1

追加の実験の結果、トークナイザーの設定が誤ってエクスポートされていることが判明しました。Czert-B-v1 では、トークナイザーパラメータ "do_lower_case" が誤って true に設定されていました。Czert-A-v1 では、パラメータ "strip_accents" が誤って true に設定されていました。

両方の誤りは v2 で修正されています。 CZERT-A-v2 CZERT-B-v2

ファインチューニング済みモデル

以下のタスク用にファインチューニングされたモデルから選択できます。

💻 使用例

文レベルのタスク

モデルは以下の文レベルのタスクで評価されています。

• センチメント分類
• 意味的テキスト類似度

文書レベルのタスク

モデルは以下の文書レベルのタスクで評価されています。

• マルチラベル文書分類

トークンレベルのタスク

モデルは以下のトークンレベルのタスクで評価されています。

• 固有表現認識
• 形態素タグ付け
• 意味役割ラベリング

📚 ドキュメント

下流タスクのファインチューニング結果

センチメント分類

センチメント分類タスクの平均 F1 結果。詳細については、論文 を参照してください。

意味的テキスト類似度

事前学習済みの CZERT-A、CZERT-B、mBERT、Pavlov およびランダムに初期化された Albert を使用して達成されたピアソン相関の比較。詳細については、論文 を参照してください。

マルチラベル文書分類

事前学習済みの CZERT-A、CZERT-B、mBERT、Pavlov およびランダムに初期化された Albert を使用して達成された F1 および AUROC スコアの比較。詳細については、論文 を参照してください。

形態素タグ付け

事前学習済みの CZERT-A、CZERT-B、mBERT、Pavlov およびランダムに初期化された Albert を使用して達成された F1 スコアの比較。詳細については、論文 を参照してください。

意味役割ラベリング

SRL の結果 – dep 列は CoNLL 2009 評価スクリプトのラベル付き F1 で評価され、他の列は NER 評価と同じスパン F1 スコアで評価されます。詳細については、論文 を参照してください。

固有表現認識

事前学習済みの CZERT-A、CZERT-B、mBERT、Pavlov およびランダムに初期化された Albert を使用して達成された f1 スコアの比較。詳細については、論文 を参照してください。

📄 ライセンス

この作品は、Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License の下でライセンスされています。http://creativecommons.org/licenses/by-nc-sa/4.0/

🔧 引用方法

現時点では、Arxiv 論文 を引用してください。

@article{sido2021czert,
      title={Czert -- Czech BERT-like Model for Language Representation}, 
      author={Jakub Sido and Ondřej Pražák and Pavel Přibáň and Jan Pašek and Michal Seják and Miloslav Konopík},
      year={2021},
      eprint={2103.13031},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      journal={arXiv preprint arXiv:2103.13031},
}