Bert Base Han Chinese Ws

🚀 CKIP BERT Base Han Chinese WS

このモデルは、古代中国語の単語分割を提供します。学習データセットは、中国語の4つの時代をカバーしています。

🚀 クイックスタート

スクリプトでのモデルの使用

from transformers import (
  AutoTokenizer,
  AutoModel,
)

tokenizer = AutoTokenizer.from_pretrained("ckiplab/bert-base-han-chinese-ws")
model = AutoModel.from_pretrained("ckiplab/bert-base-han-chinese-ws")

推論でのモデルの使用

>>> from transformers import pipeline
>>> classifier = pipeline("token-classification", model="ckiplab/bert-base-han-chinese-ws")
>>> classifier("帝堯曰放勳")

# output
[{'entity': 'B',
'score': 0.9999793,
'index': 1,
'word': '帝',
'start': 0,
'end': 1},
{'entity': 'I',
'score': 0.9915047,
'index': 2,
'word': '堯',
'start': 1,
'end': 2},
{'entity': 'B',
'score': 0.99992275,
'index': 3,
'word': '曰',
'start': 2,
'end': 3},
{'entity': 'B',
'score': 0.99905187,
'index': 4,
'word': '放',
'start': 3,
'end': 4},
{'entity': 'I',
'score': 0.96299917,
'index': 5,
'word': '勳',
'start': 4,
'end': 5}]

✨ 主な機能

このモデルは、古代中国語の単語分割を提供し、学習データセットが中国語の4つの時代をカバーしています。

📚 ドキュメント

ホームページ

• ckiplab/han-transformers

学習データセット

データセットの著作権は中央研究院言語学研究所に帰属します。

• 中央研究院上古漢語標記語料庫
• 中央研究院中古漢語語料庫
• 中央研究院近代漢語語料庫
• 中央研究院現代漢語語料庫

貢献者

• CKIP の Chin-Tung Lin

📄 ライセンス

このプロジェクトはGPL-3.0ライセンスの下で提供されています。