Guwenbert Base

🚀 古文BERT

このモデルは古典中国語で事前学習されたRoBERTaモデルです。古文BERTを下流タスク、例えば文の区切り、句読点付け、固有表現認識などにファインチューニングすることができます。

🚀 クイックスタート

モデルの概要

このモデルは古典中国語で事前学習されたRoBERTaモデルです。GuwenBERTを下流タスク、例えば文の区切り、句読点付け、固有表現認識などにファインチューニングすることができます。

RoBERTaに関する詳細情報は、RoBERTaの公式リポジトリを参照してください。

使い方

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("ethanyt/guwenbert-base")

model = AutoModel.from_pretrained("ethanyt/guwenbert-base")

✨ 主な機能

• 古典中国語の下流タスクにファインチューニング可能。
• 文の区切り、句読点付け、固有表現認識などのタスクに対応。

📦 インストール

コードの実行に必要なライブラリはtransformersです。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("ethanyt/guwenbert-base")
model = AutoModel.from_pretrained("ethanyt/guwenbert-base")

# ここに具体的な使用例を追加できます

📚 ドキュメント

学習データ

学習データは殆知阁古代文献データセット（daizhige dataset）で、15,694冊の古典中国語の書籍が含まれています。これらの書籍は仏教、儒教、医学、歴史、子、易、易蔵、史蔵、道教、集蔵などの分野を網羅しています。そのうち76％には句読点が付けられています。総文字数は17億（1,743,337,673）です。すべての繁体字は簡体字に変換されています。語彙はこのデータセットから構築され、サイズは23,292です。

学習手順

モデルはhfl/chinese-roberta-wwm-extで初期化され、2段階の戦略で事前学習されます。 第一段階では、学習中に単語埋め込みのみが更新されるMLMを学習し、収束するまで行います。第二段階では、学習中にすべてのパラメータが更新されます。

モデルは4つのV100 GPUで120Kステップ（ステップ1は20K、ステップ2は100K）学習されます。バッチサイズは2,048、シーケンス長は512です。使用されるオプティマイザはAdamで、学習率は2e-4、adam-betasは(0.9,0.98)、adam-epsは1e-6、重み減衰は0.01です。学習率は5Kステップでウォームアップされ、その後は線形減衰します。

評価結果

"古联杯"古書固有表現認識評価

コンペティションで2位を獲得しました。詳細なテスト結果は以下の通りです。

🔧 技術詳細

• モデルの初期化にhfl/chinese-roberta-wwm-extを使用。
• 2段階の事前学習戦略を採用。
• 4つのV100 GPUで学習。

📄 ライセンス

このプロジェクトはApache 2.0ライセンスの下で公開されています。

👥 私たちについて

私たちは北京理工大学のDatahammer所属です。 詳しい協力については、メールでお問い合わせください: ethanyt [at] qq.com

💕 Tan Yan と Zewen Chi によって作成されました。