# 中国語事前学習

ERNIE-4.5-0.3B-PT-bf16は百度が開発したERNIEシリーズのモデルの一つで、パラメータ規模は0.3Bで、bf16精度で学習されています。

ChineseBERTは漢字の字形とピンイン情報を融合させた中国語事前学習モデルで、中国語テキスト処理に最適化されています。

MiniRBTは知識蒸留技術に基づいて開発された中国語小型事前学習モデルで、全単語マスキング技術を用いて学習効率を最適化しています。

MiniRBTは知識蒸留技術に基づいて開発された中国語小型事前学習モデルで、全単語マスキング技術を用いて学習効率を最適化しています。

MiniRBTは知識蒸留技術に基づく中国語小型事前学習モデルで、全単語マスキング技術を組み合わせ、様々な中国語自然言語処理タスクに適しています。

LERTは言語学理論に基づいて開発された事前学習言語モデルで、言語学的知識を通じてモデルの性能を向上させることを目的としています。

StructBERTは言語構造を事前学習プロセスに組み込むことでBERTを拡張した新しいモデルで、2つの補助タスクを通じて単語と文の順序構造を最大限に活用します

このモデルはhfl/chinese-bert-wwmを未知のデータセットでファインチューニングしたバージョンで、中国語テキスト処理タスクに適しています。

CLUECorpusSmallを用いて事前学習された中国語形態素解析版RoBERTa中型モデルで、8層512隠れ層のアーキテクチャを採用し、文字版モデルに比べて性能が優れ、処理速度が速い。

PERTはBERTベースの中国語事前学習言語モデルで、中国語テキスト処理能力の向上に焦点を当てています。

中国語ELECTRAは、グーグルのELECTRAモデルに基づく中国語事前学習モデルで、ハルビン工業大学と科大訊飛の共同研究室によって発表されました。構造がコンパクトで、性能が優れているという特徴があります。

UER-pyフレームワークで事前学習された中国語T5小型モデルで、統一されたテキストからテキストへのフォーマットで様々な中国語NLPタスクを処理

中国語ELECTRAは哈工大-讯飞共同研究所がGoogleのELECTRAアーキテクチャに基づいて開発した中国語事前学習モデルで、パラメータ数はBERTの1/10ですが性能は同等です。

UER-pyで事前学習された中国語RoBERTaモデルシリーズの中型バージョンで、CLUECorpusSmallコーパスでトレーニングされ、さまざまな中国語NLPタスクに適しています。

CLUECorpusSmallで事前学習された中国語RoBERTaモデルで、8層512隠れユニットのパラメータ規模を持ち、様々な中国語NLPタスクに適しています。

CLUECorpusSmallコーパスを用いて事前学習された中国語形態素解析版RoBERTa中型モデルで、形態素解析を用いてシーケンス処理の効率を向上させます。