Dansk Gpt Wiki

🚀 GPT2-丹麥語-維基百科

這是一個丹麥語的GPT2風格模型，使用Flax CLM管道在wiki40b數據集的丹麥語部分上進行訓練。該數據集可在 wiki40b 找到。

🚀 快速開始

本模型是在Huggingface Flax/Jax挑戰期間，使用Flax Jax在TPU上訓練的一系列模型的一部分。

✨ 主要特性

GPT模型

• 瑞典語GPT：瑞典語GPT
• 瑞典語GPT維基：瑞典語GPT維基
• 北歐GPT維基：北歐GPT維基
• 丹麥語GPT維基：丹麥語GPT維基
• 挪威語GPT維基：挪威語GPT維基

RoBERTa模型

• 北歐RoBERTa維基：北歐RoBERTa維基
• 瑞典語RoBERTa維基Oscar：瑞典語RoBERTa維基Oscar
• 瑞典語RoBERTa Scandi：瑞典語RoBERTa Scandi
• 瑞典語RoBERTa：瑞典語RoBERTa

瑞典語T5模型

• 瑞典語T5模型：瑞典語T5模型

🔧 技術細節

數據清洗和預處理

使用以下腳本對數據進行清洗和預處理。請確保安裝beam_runner的依賴項，以使數據集正常工作。

from datasets import load_dataset
def load_and_clean_wiki():
    dataset = load_dataset('wiki40b', 'da', beam_runner='DirectRunner', split="train")
    #dataset = load_dataset('wiki40b', 'sv', beam_runner='DirectRunner')
    dataset = dataset.remove_columns(['wikidata_id', 'version_id'])
    filtered_dataset = dataset.map(filter_wikipedia)
    # filtered_dataset[:3]
    # print(filtered_dataset[:3])
    return filtered_dataset

def filter_wikipedia(batch):
    batch["text"] = " ".join(batch["text"].split("\
_START_SECTION_\
"))
    batch["text"] = " ".join(batch["text"].split("\
_START_ARTICLE_\
"))
    batch["text"] = " ".join(batch["text"].split("\
_START_ARTICLE_\
"))
    batch["text"] = " ".join(batch["text"].split("\
_START_PARAGRAPH_\
"))
    batch["text"] = " ".join(batch["text"].split("_NEWLINE_"))
    batch["text"] = " ".join(batch["text"].split("\xa0"))
    return batch

訓練腳本

使用以下訓練腳本來訓練模型：

./run_clm_flax.py     --output_dir="${MODEL_DIR}"     --model_type="gpt2"     --config_name="${MODEL_DIR}"     --tokenizer_name="${MODEL_DIR}"     --dataset_name="wiki40b"     --dataset_config_name="da"     --do_train --do_eval     --block_size="512"     --per_device_train_batch_size="64"     --per_device_eval_batch_size="64"     --learning_rate="5e-3" --warmup_steps="1000"     --adam_beta1="0.9" --adam_beta2="0.98" --weight_decay="0.01"     --overwrite_output_dir     --num_train_epochs="20"     --logging_steps="500"     --save_steps="1000"     --eval_steps="2500"     --push_to_hub