リフォーマー - 犯罪と罚オープンソース言语モデル - 一键で《罪と罚》スタイルのテキストを生成

ホーム

Reformer Crime And Punishment

googleによって開発

これはドストエフスキーの小説『罪と罰』でトレーニングされたReformer言語モデルで、原作に似たスタイルのテキストを生成できます。

大規模言語モデル #文学テキスト生成 #Reformerアーキテクチャ #小規模トレーニング

ダウンロード数 7,895

リリース時間 : 3/2/2022

モデル概要

このモデルはReformerアーキテクチャに基づく言語モデルで、『罪と罰』の英語翻訳テキストに特化してトレーニングされており、テキスト生成タスクに使用できます。

モデル特徴

文学名作に基づくトレーニング

『罪と罰』の英語翻訳テキストで特別にトレーニングされており、類似スタイルのテキストを生成できます。

Reformerアーキテクチャ

効率的なReformerアーキテクチャを採用し、長いシーケンスのテキスト処理に適しています。

サブワードユニット処理

サブワードユニット(token)を使用してテキスト処理を行い、モデルの効率を向上させます。

モデル能力

テキスト生成

スタイル模倣

使用事例

文学創作

小説の続きを書く

与えられた冒頭に基づいて『罪と罰』スタイルのテキストを続ける

原作のスタイルに合った一貫性のあるテキストを生成

スタイル模倣

ドストエフスキーの執筆スタイルを模倣して新しいコンテンツを作成

類似した文学的特徴を持つテキストを生成

教育研究

文学分析

モデルが生成したテキストと原作スタイルの類似性を研究

文学スタイル分析の素材を提供

🚀 『罪と罰』で学習されたReformerモデル

このモデルは、フョードル・ドストエフスキーによる小説『罪と罰』の英訳版を用いて学習された言語モデルです。このモデルを使うことで、小説の世界観に沿った文章生成が可能です。

🚀 クイックスタート

このモデルは、小さなサブワード単位で動作する言語モデルです。以下のように文章を生成することができます。

model = ReformerModelWithLMHead.from_pretrained("google/reformer-crime-and-punishment")
tok = ReformerTokenizer.from_pretrained("google/reformer-crime-and-punishment")
tok.decode(model.generate(tok.encode("A few months later", return_tensors="pt"), do_sample=True,temperature=0.7, max_length=100)[0])

# gives:'A few months later on was more than anything in the flat. 
# “I have already.” “That’s not my notion that he had forgotten him. 
# What does that matter? And why do you mean? It’s only another fellow,” he said as he went out, as though he want'

💻 使用例

基本的な使用法

model = ReformerModelWithLMHead.from_pretrained("google/reformer-crime-and-punishment")
tok = ReformerTokenizer.from_pretrained("google/reformer-crime-and-punishment")
tok.decode(model.generate(tok.encode("A few months later", return_tensors="pt"), do_sample=True,temperature=0.7, max_length=100)[0])

# gives:'A few months later on was more than anything in the flat. 
# “I have already.” “That’s not my notion that he had forgotten him. 
# What does that matter? And why do you mean? It’s only another fellow,” he said as he went out, as though he want'

📚 ドキュメント

学習データ

『罪と罰』の学習データは、gs://trax-ml/reformer/crime-and-punishment-2554.txt から取得され、約50万トークンを含んでいます。

モデルの学習

ReformerLMモデルは、著者が提案するcolabノートブック（https://colab.research.google.com/github/google/trax/blob/master/trax/models/reformer/text_generation.ipynb ）を使用してFlaxで学習され、重みはHugging FaceのPyTorch ReformerLMモデル ReformerModelWithLMHead に変換されました。