Bert Base Chinese

🚀 CKIP BERT 基礎中国語モデル

このプロジェクトは、繁体字中国語のtransformersモデル（ALBERT、BERT、GPT2を含む）と自然言語処理ツール（形態素解析、品詞タグ付け、固有表現認識を含む）を提供し、中国語の自然言語処理タスクに強力なサポートを提供します。

🚀 クイックスタート

このプロジェクトは、特定のtokenizerとモデルを指定することで使用できます。

✨ 主な機能

• ALBERT、BERT、GPT2など、複数の繁体字中国語のtransformersモデルを提供します。
• 形態素解析、品詞タグ付け、固有表現認識などの機能を備えた自然言語処理ツールを持っています。

💻 使用例

基本的な使用法

from transformers import (
  BertTokenizerFast,
  AutoModel,
)

tokenizer = BertTokenizerFast.from_pretrained('bert-base-chinese')
model = AutoModel.from_pretrained('ckiplab/bert-base-chinese')

📚 ドキュメント

完全な使用方法やその他の情報については、プロジェクトのホームページを参照してください。

📄 ライセンス

このプロジェクトはGPL - 3.0ライセンスを採用しています。

👥 貢献者

• Mu Yang （CKIP所属、作者兼メンテナ）

⚠️ 重要提示

AutoTokenizer ではなく BertTokenizerFast を使用してください。