Bert Base Chinese Ws

🚀 CKIP BERT Base Chinese

このプロジェクトでは、繁体字中国語のtransformersモデル（ALBERT、BERT、GPT2を含む）と自然言語処理ツール（形態素解析、品詞タグ付け、固有表現認識を含む）を提供しています。

🚀 クイックスタート

このプロジェクトでは、繁体字中国語のtransformersモデル（ALBERT、BERT、GPT2を含む）と自然言語処理ツール（形態素解析、品詞タグ付け、固有表現認識を含む）を提供しています。

✨ 主な機能

• 繁体字中国語のtransformersモデル（ALBERT、BERT、GPT2）を提供。
• 自然言語処理ツール（形態素解析、品詞タグ付け、固有表現認識）を提供。

📚 ドキュメント

ホームページ

• https://github.com/ckiplab/ckip-transformers

貢献者

• Mu Yang at CKIP (著者兼メンテナ)

💻 使用例

基本的な使用法

⚠️ 重要提示

トークナイザーとして、AutoTokenizerではなくBertTokenizerFastを使用してください。

# オリジナルのコードとコメントを保持
from transformers import (
  BertTokenizerFast,
  AutoModel,
)

tokenizer = BertTokenizerFast.from_pretrained('bert-base-chinese')
model = AutoModel.from_pretrained('ckiplab/bert-base-chinese-ws')

完全な使用方法やその他の情報については、https://github.com/ckiplab/ckip-transformers を参照してください。

📄 ライセンス

このプロジェクトはGPL-3.0ライセンスの下で提供されています。