Swe Gpt Wiki

🚀 GPT2-瑞典語-維基百科

這是一個瑞典語的GPT2風格模型，使用Flax CLM管道在wiki40b數據集的瑞典語部分上進行訓練。

🚀 快速開始

本模型是在Huggingface Flax/Jax挑戰賽期間，使用Flax Jax在TPU上訓練的一系列模型的一部分。

✨ 主要特性

模型系列鏈接

• GPT模型
  • 瑞典語GPT：https://huggingface.co/birgermoell/swedish - gpt/
  • 瑞典語GPT維基：https://huggingface.co/flax - community/swe - gpt - wiki
  • 北歐GPT維基：https://huggingface.co/flax - community/nordic - gpt - wiki
  • 丹麥語GPT維基：https://huggingface.co/flax - community/dansk - gpt - wiki
  • 挪威語GPT維基：https://huggingface.co/flax - community/norsk - gpt - wiki
• Roberta模型
  • 北歐Roberta維基：https://huggingface.co/flax - community/nordic - roberta - wiki
  • 瑞典語Roberta維基Oscar：https://huggingface.co/flax - community/swe - roberta - wiki - oscar
  • Roberta瑞典語斯堪的納維亞版：https://huggingface.co/birgermoell/roberta - swedish - scandi
  • Roberta瑞典語版：https://huggingface.co/birgermoell/roberta - swedish
• 瑞典語T5模型
  • 瑞典語T5基礎模型：https://huggingface.co/birgermoell/t5 - base - swedish

📦 安裝指南

使用以下腳本對數據進行清洗和預處理。要確保安裝beam_runner的依賴項，以使數據集正常工作。

from datasets import load_dataset
def load_and_clean_wiki():
    dataset = load_dataset('wiki40b', 'sv', beam_runner='DirectRunner', split="train")
    #dataset = load_dataset('wiki40b', 'sv', beam_runner='DirectRunner')
    dataset = dataset.remove_columns(['wikidata_id', 'version_id'])
    filtered_dataset = dataset.map(filter_wikipedia)
    # filtered_dataset[:3]
    # print(filtered_dataset[:3])
    return filtered_dataset

def filter_wikipedia(batch):
    batch["text"] = " ".join(batch["text"].split("\
_START_SECTION_\
"))
    batch["text"] = " ".join(batch["text"].split("\
_START_ARTICLE_\
"))
    batch["text"] = " ".join(batch["text"].split("\
_START_ARTICLE_\
"))
    batch["text"] = " ".join(batch["text"].split("\
_START_PARAGRAPH_\
"))
    batch["text"] = " ".join(batch["text"].split("_NEWLINE_"))
    batch["text"] = " ".join(batch["text"].split("\xa0"))
    return batch

💻 使用示例

基礎用法

以下是用於訓練模型的訓練腳本：

./run_clm_flax.py     --output_dir="${MODEL_DIR}"     --model_type="gpt2"     --config_name="${MODEL_DIR}"     --tokenizer_name="${MODEL_DIR}"     --dataset_name="wiki40b"     --dataset_config_name="sv"     --do_train --do_eval     --block_size="512"     --per_device_train_batch_size="64"     --per_device_eval_batch_size="64"     --learning_rate="5e-3" --warmup_steps="1000"     --adam_beta1="0.9" --adam_beta2="0.98" --weight_decay="0.01"     --overwrite_output_dir     --num_train_epochs="20"     --logging_steps="500"     --save_steps="1000"     --eval_steps="2500"     --push_to_hub