Reformer Enwik8

🚀 文字レベルのReformer言語モデル、enwik8データセットで訓練

本プロジェクトの文字レベルのReformer言語モデルは、enwik8データセットで訓練されています。enwik8はウィキペディアに基づいて構築されたデータセットで、モデルのデータ圧縮能力を測定するためによく使用されます。例えば、ハッター賞（Hutter Prize）の枠組み内で使用されています：https://en.wikipedia.org/wiki/Hutter_Prize 。

reformer-enwik8モデルは、enwik8データセットの最初の9000万文字で事前学習されており、テキストは65536文字（つまり2^16）のバッチに分割されます。モデルの重みはhttps://console.cloud.google.com/storage/browser/trax-ml/reformer/enwik8 から取得され、Hugging FaceのPyTorch ReformerLMモデルReformerModelWithLMHeadに変換されています。

このモデルは文字ベースの言語モデルであるため、形態素解析器は必要ありません。以下の関数を使用してエンコードとデコードを行うことができます。

🚀 クイックスタート

本プロジェクトの文字レベルのReformer言語モデルは、enwik8データセットで訓練され、エンコードとデコードを行う関数を提供しています。

💻 使用例

基本的な使用法

import torch

# Encoding
def encode(list_of_strings, pad_token_id=0):
    max_length = max([len(string) for string in list_of_strings])

    # create emtpy tensors
    attention_masks = torch.zeros((len(list_of_strings), max_length), dtype=torch.long)
    input_ids = torch.full((len(list_of_strings), max_length), pad_token_id, dtype=torch.long)

    for idx, string in enumerate(list_of_strings):
        # make sure string is in byte format
        if not isinstance(string, bytes):
            string = str.encode(string)

        input_ids[idx, :len(string)] = torch.tensor([x + 2 for x in string])
        attention_masks[idx, :len(string)] = 1

    return input_ids, attention_masks
    
# Decoding
def decode(outputs_ids):
    decoded_outputs = []
    for output_ids in outputs_ids.tolist():
        # transform id back to char IDs < 2 are simply transformed to ""
        decoded_outputs.append("".join([chr(x - 2) if x > 1 else "" for x in output_ids]))
    return decoded_outputs

高度な使用法

from transformers import ReformerModelWithLMHead

model = ReformerModelWithLMHead.from_pretrained("google/reformer-enwik8")
encoded, attention_masks = encode(["In 1965, Brooks left IBM to found the Department of"])
decode(model.generate(encoded, do_sample=True, max_length=150))

# gives:
# In 1965, Brooks left IBM to found the Department of Journalism in 1968. IBM had jurisdiction himself in 1980, while Brooks resolved, nevertheless thro

⚠️ 重要提示

ReformerModelWithLMHeadを使用したテキスト生成は最適化されておらず、速度が遅い場合があります。