# 日本語テキスト処理

Algomaticチームによって訓練された日本語BERTモデルで、マスキングタスクをサポートし、コンテキスト長は8192です。

これはsentence-transformersに基づく日本語の文埋め込みモデルで、文や段落を768次元のベクトル空間にマッピングでき、クラスタリングや意味的検索などのタスクに適しています。

fastText単語ベクトルに基づく実験的分類モデル、ゼロショット分類タスクをサポート

これはBERTアーキテクチャに基づく日本語専用文埋め込みモデルで、文の意味ベクトル表現を生成し文類似度を計算します。

日本語テキストで事前学習されたBERTモデルで、文字レベル分かち書き処理を採用し、日本語自然言語処理タスクに適しています。

spaCyが提供するCPU向けに最適化された日本語処理パイプラインで、形態素解析、品詞タグ付け、依存構文解析、固有表現認識などの機能を備えています。

bert-base-multilingual-casedを基にした日本語特化の簡素化バージョンで、元の精度を維持

青空文庫のテキストを用いて事前学習された日本語RoBERTaモデルで、マスク言語モデリングタスクをサポートします。