Transformers Ud Japanese Electra Base Ginza 510

🚀 transformers-ud-japanese-electra-ginza-510 (sudachitra-wordpiece, mC4 Japanese)

このモデルは、mC4 から抽出された約2億文の日本語文で事前学習された ELECTRA モデルで、spaCy v3 を用いて UD_Japanese_BCCWJ r2.8 でファインチューニングされています。

ベースの事前学習モデルは megagonlabs/transformers-ud-japanese-electra-base-discrimininator です。

spaCy v3 のモデル全体は、日本語の文節構造を認識するためのカスタムパイプラインコンポーネントを提供する GiNZA v5 とともに、PyPI から ja_ginza_electra という名前のPythonパッケージとして配布されています。 以下のように実行してみてください。

🚀 クイックスタート

$ pip install ginza ja_ginza_electra
$ ginza

📄 ライセンス

このモデルは MITライセンス の条件で配布されています。

謝辞

このモデルは、国立国語研究所（NINJAL）とメガゴンラボ東京の共同研究契約の下、MITライセンス で公開することが許可されています。

引用

• mC4

このモデルには、ODC Attribution License の下で利用可能な mC4 の情報が含まれています。

@article{2019t5,
    author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
    title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
    journal = {arXiv e-prints},
    year = {2019},
    archivePrefix = {arXiv},
    eprint = {1910.10683},
}

• UD_Japanese_BCCWJ r2.8

Asahara, M., Kanayama, H., Tanaka, T., Miyao, Y., Uematsu, S., Mori, S.,
Matsumoto, Y., Omura, M., & Murawaki, Y. (2018).
Universal Dependencies Version 2 for Japanese.
In LREC-2018.

• GSK2014-A(2019)