Belgpt2

🚀 BelGPT - 2

首款在超大規模且多樣化的法語語料庫（約60GB）上進行預訓練的GPT - 2模型。它為法語文本處理提供了強大的支持，能生成高質量的法語文本。

🚀 快速開始

你可以使用 🤗 transformers 庫來使用 BelGPT - 2 模型：

import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel

# Load pretrained model and tokenizer
model = GPT2LMHeadModel.from_pretrained("antoiloui/belgpt2")
tokenizer = GPT2Tokenizer.from_pretrained("antoiloui/belgpt2")

# Generate a sample of text
model.eval()
output = model.generate(
            bos_token_id=random.randint(1,50000),
            do_sample=True,   
            top_k=50, 
            max_length=100,
            top_p=0.95, 
            num_return_sequences=1
)

# Decode it
decoded_output = []
for sample in output:
    decoded_output.append(tokenizer.decode(sample, skip_special_tokens=True))
print(decoded_output)

💻 使用示例

基礎用法

import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel

# Load pretrained model and tokenizer
model = GPT2LMHeadModel.from_pretrained("antoiloui/belgpt2")
tokenizer = GPT2Tokenizer.from_pretrained("antoiloui/belgpt2")

# Generate a sample of text
model.eval()
output = model.generate(
            bos_token_id=random.randint(1,50000),
            do_sample=True,   
            top_k=50, 
            max_length=100,
            top_p=0.95, 
            num_return_sequences=1
)

# Decode it
decoded_output = []
for sample in output:
    decoded_output.append(tokenizer.decode(sample, skip_special_tokens=True))
print(decoded_output)

高級用法

# 可以根據不同的參數調整，實現更復雜的文本生成任務，如改變生成文本的長度、多樣性等。
import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel

# Load pretrained model and tokenizer
model = GPT2LMHeadModel.from_pretrained("antoiloui/belgpt2")
tokenizer = GPT2Tokenizer.from_pretrained("antoiloui/belgpt2")

# Generate a sample of text
model.eval()
output = model.generate(
            bos_token_id=random.randint(1,50000),
            do_sample=True,   
            top_k=100,  # 增加 top_k 值，提高生成文本的多樣性
            max_length=200,  # 增加生成文本的最大長度
            top_p=0.9, 
            num_return_sequences=3  # 生成多個文本序列
)

# Decode it
decoded_output = []
for sample in output:
    decoded_output.append(tokenizer.decode(sample, skip_special_tokens=True))
print(decoded_output)

📚 詳細文檔

關於預訓練模型、其實現方式以及所使用數據的詳細文檔可以在 此處 找到。

📦 訓練數據

以下是用於預訓練該模型的所有法語語料庫列表：

📄 許可證

本項目採用 MIT 許可證。

📖 引用

在學術場景中引用此工作，請使用以下 BibTeX 格式：

@misc{louis2020belgpt2,
  author = {Louis, Antoine},
  title = {{BelGPT-2: A GPT-2 Model Pre-trained on French Corpora}},
  year = {2020},
  howpublished = {\url{https://github.com/ant-louis/belgpt2}},
}