Belgpt2

🚀 BelGPT - 2

首款在超大规模且多样化的法语语料库（约60GB）上进行预训练的GPT - 2模型。它为法语文本处理提供了强大的支持，能生成高质量的法语文本。

🚀 快速开始

你可以使用 🤗 transformers 库来使用 BelGPT - 2 模型：

import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel

# Load pretrained model and tokenizer
model = GPT2LMHeadModel.from_pretrained("antoiloui/belgpt2")
tokenizer = GPT2Tokenizer.from_pretrained("antoiloui/belgpt2")

# Generate a sample of text
model.eval()
output = model.generate(
            bos_token_id=random.randint(1,50000),
            do_sample=True,   
            top_k=50, 
            max_length=100,
            top_p=0.95, 
            num_return_sequences=1
)

# Decode it
decoded_output = []
for sample in output:
    decoded_output.append(tokenizer.decode(sample, skip_special_tokens=True))
print(decoded_output)

💻 使用示例

基础用法

import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel

# Load pretrained model and tokenizer
model = GPT2LMHeadModel.from_pretrained("antoiloui/belgpt2")
tokenizer = GPT2Tokenizer.from_pretrained("antoiloui/belgpt2")

# Generate a sample of text
model.eval()
output = model.generate(
            bos_token_id=random.randint(1,50000),
            do_sample=True,   
            top_k=50, 
            max_length=100,
            top_p=0.95, 
            num_return_sequences=1
)

# Decode it
decoded_output = []
for sample in output:
    decoded_output.append(tokenizer.decode(sample, skip_special_tokens=True))
print(decoded_output)

高级用法

# 可以根据不同的参数调整，实现更复杂的文本生成任务，如改变生成文本的长度、多样性等。
import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel

# Load pretrained model and tokenizer
model = GPT2LMHeadModel.from_pretrained("antoiloui/belgpt2")
tokenizer = GPT2Tokenizer.from_pretrained("antoiloui/belgpt2")

# Generate a sample of text
model.eval()
output = model.generate(
            bos_token_id=random.randint(1,50000),
            do_sample=True,   
            top_k=100,  # 增加 top_k 值，提高生成文本的多样性
            max_length=200,  # 增加生成文本的最大长度
            top_p=0.9, 
            num_return_sequences=3  # 生成多个文本序列
)

# Decode it
decoded_output = []
for sample in output:
    decoded_output.append(tokenizer.decode(sample, skip_special_tokens=True))
print(decoded_output)

📚 详细文档

关于预训练模型、其实现方式以及所使用数据的详细文档可以在 此处 找到。

📦 训练数据

以下是用于预训练该模型的所有法语语料库列表：

📄 许可证

本项目采用 MIT 许可证。

📖 引用

在学术场景中引用此工作，请使用以下 BibTeX 格式：

@misc{louis2020belgpt2,
  author = {Louis, Antoine},
  title = {{BelGPT-2: A GPT-2 Model Pre-trained on French Corpora}},
  year = {2020},
  howpublished = {\url{https://github.com/ant-louis/belgpt2}},
}