Xlnet Japanese

🚀 XLNet - 日語版

XLNet - 日語版模型是基於XLNet架構專門為日語處理設計的模型。它結合了Mecab和sentencepiece進行分詞，能有效處理日語文本，在日語語言生成等任務中具有一定的應用價值。

✨ 主要特性

• 該模型在使用時需要配合Mecab和sentencepiece，並使用XLNetTokenizer。具體細節可參考這裡。
• 模型採用NFKD作為字符編碼的歸一化方法，會導致日語的濁點和半濁點丟失。

📦 安裝指南

文檔中未提及具體安裝步驟，可參考模型發佈方提供的相關依賴安裝說明。

💻 使用示例

基礎用法

from fugashi import Tagger 

from transformers import (
    pipeline,
    XLNetLMHeadModel,
    XLNetTokenizer
)

class XLNet():
    def __init__(self):
        self.m = Tagger('-Owakati') 
        self.gen_model = XLNetLMHeadModel.from_pretrained("hajime9652/xlnet-japanese")
        self.gen_tokenizer = XLNetTokenizer.from_pretrained("hajime9652/xlnet-japanese")
         
    def generate(self, prompt="福岡のご飯は美味しい。コンパクトで暮らしやすい街。"):
        prompt = self.m.parse(prompt)
        inputs = self.gen_tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
        prompt_length = len(self.gen_tokenizer.decode(inputs[0], skip_special_tokens=True, clean_up_tokenization_spaces=True))
        outputs = self.gen_model.generate(inputs, max_length=200, do_sample=True, top_p=0.95, top_k=60)
        generated = prompt + self.gen_tokenizer.decode(outputs[0])[prompt_length:]
        return generated

🔧 技術細節

• 模型使用NFKD作為字符編碼的歸一化方法，這會使得日語的濁點和半濁點丟失。
• 模型訓練使用了日本商業新聞數據集。

📄 許可證

該模型採用Apache - 2.0許可證。

⚠️ 重要提示

創建和發佈此模型的公司是Stockmark。此倉庫供HuggingFace使用，不存在侵權問題。詳情請參考由https://github.com/mkt3發佈的文檔。