Bert Base Han Chinese Ws

🚀 CKIP BERT基礎古漢語分詞模型

本模型為古漢語提供分詞功能。我們的訓練數據集涵蓋了漢語的四個時代，能有效助力古漢語的相關研究與應用。

🚀 快速開始

本模型可用於古漢語分詞。它基於BERT架構，訓練數據集涵蓋了漢語的四個時代，能為古漢語處理提供有力支持。

代碼中使用模型

from transformers import (
  AutoTokenizer,
  AutoModel,
)

tokenizer = AutoTokenizer.from_pretrained("ckiplab/bert-base-han-chinese-ws")
model = AutoModel.from_pretrained("ckiplab/bert-base-han-chinese-ws")

使用模型進行推理

>>> from transformers import pipeline
>>> classifier = pipeline("token-classification", model="ckiplab/bert-base-han-chinese-ws")
>>> classifier("帝堯曰放勳")

# 輸出
[{'entity': 'B',
'score': 0.9999793,
'index': 1,
'word': '帝',
'start': 0,
'end': 1},
{'entity': 'I',
'score': 0.9915047,
'index': 2,
'word': '堯',
'start': 1,
'end': 2},
{'entity': 'B',
'score': 0.99992275,
'index': 3,
'word': '曰',
'start': 2,
'end': 3},
{'entity': 'B',
'score': 0.99905187,
'index': 4,
'word': '放',
'start': 3,
'end': 4},
{'entity': 'I',
'score': 0.96299917,
'index': 5,
'word': '勳',
'start': 4,
'end': 5}]

✨ 主要特性

• 提供古漢語分詞功能。
• 訓練數據集覆蓋漢語四個時代。

📚 詳細文檔

主頁

• ckiplab/han-transformers

訓練數據集

數據集版權歸中央研究院語言學研究所所有。

• 中央研究院上古漢語標記語料庫
• 中央研究院中古漢語語料庫
• 中央研究院近代漢語語料庫
• 中央研究院現代漢語語料庫

貢獻者

• 中央研究院詞庫小組（CKIP）的林進東 CKIP

📄 許可證

本項目採用GPL-3.0許可證。