Xlnet Japanese

🚀 XLNet-japanese

このモデルは、日本語の文章生成に特化したXLNetベースのモデルです。Mecabとsentencepieceを用いたトークナイザーを必要とし、特定の文字エンコーディングの正規化方法を採用しています。

🚀 クイックスタート

このモデルを使用するには、MecabとsentencepieceをXLNetTokenizerとともに使用する必要があります。詳細はこちらを参照してください。

このモデルは、文字エンコーディングの正規化方法としてNFKDを使用しています。そのため、日本語の濁点・半濁点が失われます。

日本語の濁点・半濁点がないモデルです

💻 使用例

基本的な使用法

from fugashi import Tagger 

from transformers import (
    pipeline,
    XLNetLMHeadModel,
    XLNetTokenizer
)

class XLNet():
    def __init__(self):
        self.m = Tagger('-Owakati') 
        self.gen_model = XLNetLMHeadModel.from_pretrained("hajime9652/xlnet-japanese")
        self.gen_tokenizer = XLNetTokenizer.from_pretrained("hajime9652/xlnet-japanese")
         
    def generate(self, prompt="福岡のご飯は美味しい。コンパクトで暮らしやすい街。"):
        prompt = self.m.parse(prompt)
        inputs = self.gen_tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
        prompt_length = len(self.gen_tokenizer.decode(inputs[0], skip_special_tokens=True, clean_up_tokenization_spaces=True))
        outputs = self.gen_model.generate(inputs, max_length=200, do_sample=True, top_p=0.95, top_k=60)
        generated = prompt + self.gen_tokenizer.decode(outputs[0])[prompt_length:]
        return generated

🔧 技術詳細

このモデルは、日本のビジネスニュースをトレーニングデータとして使用しています。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で公開されています。

⚠️ 重要提示

このモデルを作成・公開した会社はStockmarkです。このリポジトリはHuggingFaceでの使用を目的としており、侵害目的ではありません。詳細はこちらのドキュメントを参照してください。このドキュメントはこちらによって公開されています。