Modernbert Large Japanese Aozora

🚀 modernbert-large-japanese-aozora

這是一個基於青空文庫文本預訓練的ModernBERT模型，可用於下游任務的微調，如詞性標註、依存句法分析等。

🚀 快速開始

本模型是在青空文庫文本上進行預訓練的ModernBERT模型。訓練使用了NVIDIA A100 - SXM4 - 40GB×8，耗時10小時5分鐘。你可以對modernbert-large-japanese-aozora進行微調，以應用於下游任務，例如詞性標註、依存句法分析等。

💻 使用示例

基礎用法

from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/modernbert-large-japanese-aozora")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/modernbert-large-japanese-aozora",trust_remote_code=True)

參考文獻

安岡孝一: 青空文庫ModernBERTモデルによる國語研長単位係り受け解析, 情報処理學會研究報告, Vol.2025 - CH - 137『人文科學とコンピュータ』, No.10 (2025年2月8日), pp.1 - 7.

📄 許可證

本項目採用Apache 2.0許可證。