Hebrew Gpt Neo Tiny

🚀 ヘブライ語GPT - Neo Tiny

このモデルは、[EleutherAIのgpt - neo](https://github.com/EleutherAI/gpt - neo)に基づいたヘブライ語のテキスト生成モデルです。各モデルは、TPU Research Cloudプログラムを通じて利用可能になったTPUv3 - 8で学習されました。

✨ 主な機能

• ヘブライ語のテキストを生成することができます。

📦 インストール

必要なライブラリのインストール

!pip install tokenizers==0.10.2 transformers==4.6.0

💻 使用例

基本的な使用法

# 必要なライブラリのインポート
from transformers import AutoTokenizer, AutoModelForCausalLM
  
# トークナイザーとモデルのロード
tokenizer = AutoTokenizer.from_pretrained("Norod78/hebrew-gpt_neo-tiny")
model = AutoModelForCausalLM.from_pretrained("Norod78/hebrew-gpt_neo-tiny", pad_token_id=tokenizer.eos_token_id)

# 入力プロンプトの設定
prompt_text = "אני אוהב שוקולד ועוגות"
max_len = 512
sample_output_num = 3
seed = 1000

import numpy as np
import torch

# デバイスの設定
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
n_gpu = 0 if torch.cuda.is_available()==False else torch.cuda.device_count()

print(f"device: {device}, n_gpu: {n_gpu}")

# 乱数シードの設定
np.random.seed(seed)
torch.manual_seed(seed)
if n_gpu > 0:
    torch.cuda.manual_seed_all(seed)

# モデルをデバイスに移動
model.to(device)

# 入力プロンプトのエンコード
encoded_prompt = tokenizer.encode(
    prompt_text, add_special_tokens=False, return_tensors="pt")

encoded_prompt = encoded_prompt.to(device)

if encoded_prompt.size()[-1] == 0:
        input_ids = None
else:
        input_ids = encoded_prompt

print("input_ids = " + str(input_ids))

if input_ids != None:
  max_len += len(encoded_prompt[0])
  if max_len > 1024:
    max_len = 1024

print("Updated max_len = " + str(max_len))

# 停止トークンと改行の設定
stop_token = "<|endoftext|>"
new_lines = "\n\n\n"

# テキスト生成
sample_outputs = model.generate(
    input_ids,
    do_sample=True, 
    max_length=max_len, 
    top_k=50, 
    top_p=0.95, 
    num_return_sequences=sample_output_num
)

print(100 * '-' + "\n\t\tOutput\n" + 100 * '-')
for i, sample_output in enumerate(sample_outputs):

  text = tokenizer.decode(sample_output, skip_special_tokens=True)
  
  # 停止トークン以降のテキストを削除
  text = text[: text.find(stop_token) if stop_token else None]

  # 3つの改行以降のテキストを削除
  text = text[: text.find(new_lines) if new_lines else None]

  print("\n{}: {}".format(i, text))
  print("\n" + 100 * '-')

📚 ドキュメント

データセット

1. 様々なヘブライ語コーパスの集合 - こちらで利用可能です。
2. oscar / unshuffled_deduplicated_he - ホームページ | データセットのパーマリンク

Open Super - large Crawled ALMAnaCH coRpusは、goclassyアーキテクチャを使用してCommon Crawlコーパスを言語分類とフィルタリングすることで得られた巨大な多言語コーパスです。

学習設定

こちらで利用可能です。

Google Colabノートブック

こちらで利用可能です。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。