Roberta Small Japanese Luw Upos

🚀 roberta-small-japanese-luw-upos

このモデルは、品詞タグ付けと依存構造解析のために青空文庫のテキストで事前学習されたRoBERTaモデルです。roberta-small-japanese-aozora をベースに派生しています。各長単位語は UPOS (Universal Part-Of-Speech) でタグ付けされます。

🚀 クイックスタート

💻 使用例

基本的な使用法

from transformers import AutoTokenizer,AutoModelForTokenClassification,TokenClassificationPipeline
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/roberta-small-japanese-luw-upos")
model=AutoModelForTokenClassification.from_pretrained("KoichiYasuoka/roberta-small-japanese-luw-upos")
pipeline=TokenClassificationPipeline(tokenizer=tokenizer,model=model,aggregation_strategy="simple")
nlp=lambda x:[(x[t["start"]:t["end"]],t["entity_group"]) for t in pipeline(x)]
print(nlp("国境の長いトンネルを抜けると雪国であった。"))

高度な使用法

import esupar
nlp=esupar.load("KoichiYasuoka/roberta-small-japanese-luw-upos")
print(nlp("国境の長いトンネルを抜けると雪国であった。"))

📚 ドキュメント

関連情報

esupar: BERT/RoBERTa/DeBERTaモデルを用いたトークナイザ、品詞タガー、依存構造解析器

モデル情報

📄 ライセンス

このモデルは cc-by-sa-4.0 ライセンスの下で提供されています。