Hebrew Gpt Neo Small

🚀 希伯來語GPT-Neo小模型

基於EleutherAI的gpt - neo的希伯來語文本生成模型。每個模型都在TPUv3 - 8上進行訓練，該TPU通過TPU研究雲計劃提供給我使用。

🚀 快速開始

本項目是一個基於EleutherAI的gpt - neo的希伯來語文本生成模型。以下將為你介紹數據集、訓練配置和使用方法等內容。

✨ 主要特性

• 基於EleutherAI的gpt - neo架構，適用於希伯來語文本生成。
• 在TPUv3 - 8上進行訓練，藉助TPU研究雲計劃。

📦 安裝指南

在使用模型前，你需要安裝必要的庫：

!pip install tokenizers==0.10.2 transformers==4.6.0

💻 使用示例

基礎用法

你可以通過Google Colab Notebook使用該模型，點擊此處訪問。

以下是一個簡單的使用示例代碼：

!pip install tokenizers==0.10.2 transformers==4.6.0

from transformers import AutoTokenizer, AutoModelForCausalLM
  
tokenizer = AutoTokenizer.from_pretrained("Norod78/hebrew-gpt_neo-small")
model = AutoModelForCausalLM.from_pretrained("Norod78/hebrew-gpt_neo-small", pad_token_id=tokenizer.eos_token_id)

prompt_text = "אני אוהב שוקולד ועוגות"
max_len = 512
sample_output_num = 3
seed = 1000

import numpy as np
import torch

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
n_gpu = 0 if torch.cuda.is_available()==False else torch.cuda.device_count()

print(f"device: {device}, n_gpu: {n_gpu}")

np.random.seed(seed)
torch.manual_seed(seed)
if n_gpu > 0:
    torch.cuda.manual_seed_all(seed)

model.to(device)

encoded_prompt = tokenizer.encode(
    prompt_text, add_special_tokens=False, return_tensors="pt")

encoded_prompt = encoded_prompt.to(device)

if encoded_prompt.size()[-1] == 0:
        input_ids = None
else:
        input_ids = encoded_prompt

print("input_ids = " + str(input_ids))

if input_ids != None:
  max_len += len(encoded_prompt[0])
  if max_len > 2048:
    max_len = 2048

print("Updated max_len = " + str(max_len))

stop_token = "<|endoftext|>"
new_lines = "\n\n\n"

sample_outputs = model.generate(
    input_ids,
    do_sample=True, 
    max_length=max_len, 
    top_k=50, 
    top_p=0.95, 
    num_return_sequences=sample_output_num
)

print(100 * '-' + "\n\t\tOutput\n" + 100 * '-')
for i, sample_output in enumerate(sample_outputs):

  text = tokenizer.decode(sample_output, skip_special_tokens=True)
  
  # Remove all text after the stop token
  text = text[: text.find(stop_token) if stop_token else None]

  # Remove all text after 3 newlines
  text = text[: text.find(new_lines) if new_lines else None]

  print("\n{}: {}".format(i, text))
  print("\n" + 100 * '-')

📚 詳細文檔

數據集

1. 各種希伯來語語料庫：我已將其放在此處。
2. oscar / unshuffled_deduplicated_he：主頁 | 數據集永久鏈接。Open Super - large Crawled ALMAnaCH coRpus是一個巨大的多語言語料庫，通過使用goclassy架構對Common Crawl語料庫進行語言分類和過濾獲得。
3. CC100 - 希伯來語數據集：主頁。該數據集由Conneau和Wenzek等人在2020年創建，是從CC - Net存儲庫中2018年1月 - 12月的Commoncrawl快照處理得到的100個單語言語料庫之一。該語料庫大小為6.1G，為希伯來語。

訓練配置

訓練配置可在此處獲取。

📄 許可證

本項目採用MIT許可證。