Roberta Small Japanese Luw Upos

🚀 roberta-small-japanese-luw-upos

本項目的模型基於青空文庫文本進行預訓練，用於詞性標註和依存句法分析，能為日語長單元詞標註通用詞性，有效解決日語自然語言處理中的詞性和句法分析問題，為相關研究和應用提供有力支持。

🚀 快速開始

本模型是基於青空文庫文本進行預訓練的RoBERTa模型，用於詞性標註和依存句法分析。它派生自 roberta-small-japanese-aozora，每個長單元詞都由 UPOS（通用詞性）進行標註。

✨ 主要特性

• 基於青空文庫文本預訓練，適用於日語的詞性標註和依存句法分析。
• 為每個長單元詞標註通用詞性（UPOS）。

💻 使用示例

基礎用法

from transformers import AutoTokenizer,AutoModelForTokenClassification,TokenClassificationPipeline
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/roberta-small-japanese-luw-upos")
model=AutoModelForTokenClassification.from_pretrained("KoichiYasuoka/roberta-small-japanese-luw-upos")
pipeline=TokenClassificationPipeline(tokenizer=tokenizer,model=model,aggregation_strategy="simple")
nlp=lambda x:[(x[t["start"]:t["end"]],t["entity_group"]) for t in pipeline(x)]
print(nlp("國境の長いトンネルを抜けると雪國であった。"))

高級用法

import esupar
nlp=esupar.load("KoichiYasuoka/roberta-small-japanese-luw-upos")
print(nlp("國境の長いトンネルを抜けると雪國であった。"))

📚 詳細文檔

esupar：基於BERT/RoBERTa/DeBERTa模型的分詞器、詞性標註器和依存句法分析器。

📄 許可證

本項目採用 "cc-by-sa-4.0" 許可證。

信息表格