Bert Base Japanese Upos

🚀 bert-base-japanese-upos

這是一個基於日本維基百科文本預訓練的BERT模型，用於詞性標註和依存句法分析，為自然語言處理提供精準支持。

🚀 快速開始

本模型是基於日本維基百科文本進行預訓練的BERT模型，用於詞性標註和依存句法分析，它源自 bert-base-japanese-char-extended。每個短單元詞都會按照 UPOS（通用詞性標註）進行標註。

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer,AutoModelForTokenClassification
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/bert-base-japanese-upos")
model=AutoModelForTokenClassification.from_pretrained("KoichiYasuoka/bert-base-japanese-upos")
s="國境の長いトンネルを抜けると雪國であった。"
p=[model.config.id2label[q] for q in torch.argmax(model(tokenizer.encode(s,return_tensors="pt"))["logits"],dim=2)[0].tolist()[1:-1]]
print(list(zip(s,p)))

高級用法

import esupar
nlp=esupar.load("KoichiYasuoka/bert-base-japanese-upos")
print(nlp("國境の長いトンネルを抜けると雪國であった。"))

📚 詳細文檔

esupar：基於BERT/RoBERTa/DeBERTa模型的分詞器、詞性標註器和依存句法分析器。

📄 許可證

本項目採用 "cc-by-sa-4.0" 許可證。