Bert Base Japanese Upos

🚀 bert-base-japanese-upos

このモデルは、日本語のウィキペディアテキストで事前学習されたBERTモデルで、品詞タグ付けと依存構造解析に使用されます。日本語の自然言語処理タスクに役立ちます。

🚀 クイックスタート

このセクションでは、モデルの概要と使用方法を説明します。

✨ 主な機能

このモデルは、日本語のウィキペディアテキストを用いて事前学習されたBERTモデルで、品詞タグ付け（POS-tagging）と依存構造解析（dependency-parsing）に特化しています。派生元は bert-base-japanese-char-extended で、各短単位語には UPOS（Universal Part-Of-Speech）によるタグ付けが行われます。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコードで必要なライブラリをインストールできます。

pip install transformers torch esupar

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer,AutoModelForTokenClassification
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/bert-base-japanese-upos")
model=AutoModelForTokenClassification.from_pretrained("KoichiYasuoka/bert-base-japanese-upos")
s="国境の長いトンネルを抜けると雪国であった。"
p=[model.config.id2label[q] for q in torch.argmax(model(tokenizer.encode(s,return_tensors="pt"))["logits"],dim=2)[0].tolist()[1:-1]]
print(list(zip(s,p)))

高度な使用法

import esupar
nlp=esupar.load("KoichiYasuoka/bert-base-japanese-upos")
print(nlp("国境の長いトンネルを抜けると雪国であった。"))

📚 ドキュメント

esupar を参照することで、BERT/RoBERTa/DeBERTaモデルを用いたトークナイザ、品詞タガー、依存構造解析器について詳しく知ることができます。

📄 ライセンス

このモデルは、"cc-by-sa-4.0" ライセンスの下で提供されています。

モデル情報