Japanese Gpt2 Medium

🚀 japanese-gpt2-medium

このリポジトリは、中規模の日本語GPT - 2モデルを提供しています。このモデルは、rinna Co., Ltd.によるGithubリポジトリrinnakk/japanese-pretrained-modelsのコードを使用して学習されました。

🚀 クイックスタート

このモデルを使用するには、以下のコードを実行します。

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("rinna/japanese-gpt2-medium", use_fast=False)
tokenizer.do_lower_case = True  # due to some bug of tokenizer config loading

model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt2-medium")

✨ 主な機能

このモデルは、自然言語処理タスクに使用できるGPT - 2ベースの言語モデルです。文章生成や質問応答などのタスクに適用可能です。

🔧 技術詳細

モデルアーキテクチャ

24層、隠れ層のサイズが1024のTransformerベースの言語モデルです。

学習

このモデルは、Japanese CC - 100とJapanese Wikipediaを使用して学習されました。8台のV100 GPUで約30日間、従来の言語モデリングの目的関数を最適化するように学習されました。同じデータから選択された検証セットでは、パープレキシティが約18に達します。

トークン化

このモデルは、sentencepieceベースのトークナイザーを使用しています。語彙は、公式のsentencepiece学習スクリプトを使用して日本語Wikipediaで学習されました。

📄 ライセンス

このモデルは、The MIT licenseの下で提供されています。

📚 ドキュメント

公開日

2021年4月7日 (更新: 2021年8月25日)

引用方法

@misc{rinna-japanese-gpt2-medium,
    title = {rinna/japanese-gpt2-medium},
    author = {Zhao, Tianyu and Sawada, Kei},
    url = {https://huggingface.co/rinna/japanese-gpt2-medium}
}

@inproceedings{sawada2024release,
    title = {Release of Pre-Trained Models for the {J}apanese Language},
    author = {Sawada, Kei and Zhao, Tianyu and Shing, Makoto and Mitsui, Kentaro and Kaga, Akio and Hono, Yukiya and Wakatsuki, Toshiaki and Mitsuda, Koh},
    booktitle = {Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)},
    month = {5},
    year = {2024},
    pages = {13898--13905},
    url = {https://aclanthology.org/2024.lrec-main.1213},
    note = {\url{https://arxiv.org/abs/2404.01657}}
}