Swe Gpt Wiki

🚀 GPT2-スウェーデン語-ウィキペディア

これはスウェーデン語のGPT2スタイルのモデルで、Flax CLMパイプラインを使用して、wiki40bデータセットのスウェーデン語部分でトレーニングされました。

🚀 クイックスタート

このモデルは、Huggingface Flax/Jaxチャレンジ期間中に、Flax Jaxを使用してTPU上でトレーニングされた一連のモデルの一部です。

✨ 主な機能

モデルシリーズのリンク

• GPTモデル
  • スウェーデン語GPT：https://huggingface.co/birgermoell/swedish - gpt/
  • スウェーデン語GPTウィキ：https://huggingface.co/flax - community/swe - gpt - wiki
  • 北欧GPTウィキ：https://huggingface.co/flax - community/nordic - gpt - wiki
  • デンマーク語GPTウィキ：https://huggingface.co/flax - community/dansk - gpt - wiki
  • ノルウェー語GPTウィキ：https://huggingface.co/flax - community/norsk - gpt - wiki
• Robertaモデル
  • 北欧Robertaウィキ：https://huggingface.co/flax - community/nordic - roberta - wiki
  • スウェーデン語RobertaウィキOscar：https://huggingface.co/flax - community/swe - roberta - wiki - oscar
  • Robertaスウェーデン語スカンジナビア版：https://huggingface.co/birgermoell/roberta - swedish - scandi
  • Robertaスウェーデン語版：https://huggingface.co/birgermoell/roberta - swedish
• スウェーデン語T5モデル
  • スウェーデン語T5ベースモデル：https://huggingface.co/birgermoell/t5 - base - swedish

📦 インストール

データのクリーニングと前処理には、以下のスクリプトを使用します。データセットが正常に動作するように、beam_runnerの依存関係をインストールする必要があります。

from datasets import load_dataset
def load_and_clean_wiki():
    dataset = load_dataset('wiki40b', 'sv', beam_runner='DirectRunner', split="train")
    #dataset = load_dataset('wiki40b', 'sv', beam_runner='DirectRunner')
    dataset = dataset.remove_columns(['wikidata_id', 'version_id'])
    filtered_dataset = dataset.map(filter_wikipedia)
    # filtered_dataset[:3]
    # print(filtered_dataset[:3])
    return filtered_dataset

def filter_wikipedia(batch):
    batch["text"] = " ".join(batch["text"].split("\
_START_SECTION_\
"))
    batch["text"] = " ".join(batch["text"].split("\
_START_ARTICLE_\
"))
    batch["text"] = " ".join(batch["text"].split("\
_START_ARTICLE_\
"))
    batch["text"] = " ".join(batch["text"].split("\
_START_PARAGRAPH_\
"))
    batch["text"] = " ".join(batch["text"].split("_NEWLINE_"))
    batch["text"] = " ".join(batch["text"].split("\xa0"))
    return batch

💻 使用例

基本的な使用法

以下は、モデルをトレーニングするためのトレーニングスクリプトです。

./run_clm_flax.py     --output_dir="${MODEL_DIR}"     --model_type="gpt2"     --config_name="${MODEL_DIR}"     --tokenizer_name="${MODEL_DIR}"     --dataset_name="wiki40b"     --dataset_config_name="sv"     --do_train --do_eval     --block_size="512"     --per_device_train_batch_size="64"     --per_device_eval_batch_size="64"     --learning_rate="5e-3" --warmup_steps="1000"     --adam_beta1="0.9" --adam_beta2="0.98" --weight_decay="0.01"     --overwrite_output_dir     --num_train_epochs="20"     --logging_steps="500"     --save_steps="1000"     --eval_steps="2500"     --push_to_hub