Hebrew Bad Wiki Gpt Neo Tiny

🚀 ヘブライ語バッドウィキ - GPT Neo Tiny

このモデルは、ヘブライ語の無意味なテキスト生成を行い、非常に質の低いウィキ要約テキストを生成します。

🚀 クイックスタート

Google Colabのノートブックはこちらで利用できます。

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Norod78/hebrew-bad_wiki-gpt_neo-tiny")

model = AutoModelForCausalLM.from_pretrained("Norod78/hebrew-bad_wiki-gpt_neo-tiny")

✨ 主な機能

このモデルはテキスト生成に使用できます。

📦 インストール

インストールに関する具体的な手順は提供されていません。

📚 ドキュメント

モデルの詳細

モデルの説明: モデル開発者によると、このモデルは

本当に質の低いウィキ要約テキストを生成するヘブライ語の無意味なテキスト生成モデルです。

使用方法

直接使用

このモデルはテキスト生成に使用できます。

誤用と範囲外の使用

誤用と範囲外の使用に関する詳細は提供されていません。

リスク、制限事項とバイアス

⚠️ 重要な注意

読者はこのセクションには、不快で不快な内容が含まれており、過去と現在のステレオタイプを広める可能性があることを認識する必要があります。

多くの研究が言語モデルのバイアスと公平性の問題を調査しています（例えば、Sheng et al. (2021) および Bender et al. (2021) を参照）。

トレーニング

トレーニングデータ

2020年5月の ヘブライ語ウィキペディアダンプ (hewiki要約)

トレーニング手順

このモデルは、以前に EleutherAIのgpt - neo を使用してトレーニングされた hebrew - gpt_neo - tiny を微調整して作成されました。 ウィキ要約テキストの微調整は、@minimaxir の aitextgen を使用して行われました。

評価

設定

hebrew - gpt_neo - tiny のモデル設定は、hebrew - gpt_neo モデルのGitHub で入手できます。

• 活性化関数: gelu
• ヘッド数: 12
• 語彙数: 50257
• トレーニングバッチサイズ: 250
• 評価バッチサイズ: 64
• 予測バッチサイズ: 1

環境への影響

炭素排出量は、Machine Learning Impact calculator を使用して推定できます（Lacoste et al. (2019) を参照）。ハードウェアタイプについては、関連論文 を参考にしています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。