# ウィキペディア事前学習

google/gemma-2-9bベースモデルを使用し、トルコ語ウィキペディアデータで継続事前学習を行ったLoRA適応モデルで、トルコ語テキスト処理能力を向上

これはGoogleのGemma 2Bモデルのタミル語命令ファインチューニング版で、英語とタミル語の二言語テキスト生成をサポートします。

NusaBERT基本版はBERTアーキテクチャに基づく多言語エンコーダー言語モデルで、13種類のインドネシア地域言語をサポートし、複数のオープンソースコーパスで事前学習されています。

マスク言語モデリング（MLM）目標で事前学習された多言語ALBERTモデル、64k語彙サイズをサポート、大文字小文字を区別

日本語ウィキペディアで事前学習された日本語BART大規模モデルで、テキスト生成や自然言語処理タスクに適しています。

これは日本語ウィキペディアで事前学習された日本語BARTベースモデルで、自然言語処理タスクに適しています。

日本語ウィキペディア、CC-100、OSCORPUSで事前学習された日本語DeBERTa V2ベースモデル。マスキング言語モデリングや下流タスクのファインチューニングに適しています。

RoBERTaアーキテクチャに基づく日本語事前学習モデルで、自動Juman++形態素解析をサポートし、日本語自然言語処理タスクに適しています。

日本語ウィキペディアと青空文庫テキストで事前学習されたDeBERTa(V2)モデルで、日本語テキスト処理タスクに適しています

これは日本語依存構文解析専用に設計されたBERTモデルで、長い単位語のヘッド単語を検出するために質問応答形式で実装されています。

これは日本語で事前学習されたALBERTモデルで、BertJapaneseTokenizerをトークナイザーとして使用しており、日本語テキストの処理がより簡単です。

mLUKEはLUKEの多言語拡張版で、24言語の固有表現認識、関係分類、質問応答システムタスクをサポート

mLUKEはLUKEの多言語拡張版で、24言語のテキスト処理タスクをサポート

日本語ウィキペディアで事前学習されたBERT小型モデル、金融テキストマイニング向けに最適化

日本語テキストで事前学習されたBERTモデルで、文字レベルトークン化と全単語マスキング技術を採用しており、日本語自然言語処理タスクに適しています。

ガリシア語用に事前学習されたBERTモデル（12層、大文字小文字を区別）。ウィキペディアのデータを基に学習

BERT-Baseアーキテクチャに基づくタイ語専用事前学習モデル。タイ語の分かち書き特性に最適化され、多言語BERTを上回る性能を提供

日本語ウィキペディアデータセットで学習されたBERTベースモデル、日本語テキストのマスク埋め込みタスクに適しています

日本語ウィキペディアで事前学習されたBERTモデルで、Unidic辞書を使用した語彙レベルの分かち書きと全語マスキング訓練を採用

日本語コーパスを用いて事前学習されたT5（テキストからテキストへの変換Transformer）モデルで、様々なテキスト生成タスクに適しています。

フランス語ウィキペディアで事前学習されたALBERTベースモデルで、大文字小文字の識別をサポートし、フランス語NLPタスクに適しています。

mLUKEはLUKEの多言語拡張版で、24言語の固有表現認識、関係分類、質問応答システムのタスクをサポートします。

mLUKEはLUKEの多言語拡張バージョンで、24言語の固有表現認識、関係分類、質問応答システムのタスクをサポートします。

多言語BERTモデルを微調整したポーランド語質問応答システムで、ポーランド語SQuAD1.1データセットで優れた性能を発揮します。

ヒンディー語、サンスクリット語、グジャラート語のウィキペディア記事で訓練されたマルチリンガルRoBERTaタイプのモデルで、3つのインド語族言語処理をサポートします。

日本語ウィキペディアテキストで事前学習されたBERTモデルで、IPA辞書を使用した単語レベルの分かち書き処理を行い、日本語自然言語処理タスクに適しています。

これは文字レベル分かち書きと全単語マスキング技術を採用した日本語BERT事前学習モデルで、`fugashi`や`unidic_lite`ツールキットに依存しません。

日本語テキストで事前学習されたBERTモデルで、文字レベル分かち書き処理を採用し、日本語自然言語処理タスクに適しています。

イタリア語BERTベース版をイタリア語SQuADでファインチューニングし、Q&A下流タスクに使用

bert-base-multilingual-casedの簡素化バージョンで、5つの言語（英語、フランス語、スペイン語、ドイツ語、中国語）のみをサポートし、オリジナルより30%小さくなっていますが、これらの言語の表現はオリジナルと同じです。

日本語テキスト向けに事前学習されたBERTモデルで、文字レベル分かち書きと全単語マスク機構を採用し、2020年8月31日版の日本語ウィキペディアに基づいて学習

これはXLM-Rベースのsentence-transformersモデルで、特にタイ語に最適化されており、文や段落を768次元の密なベクトル空間にマッピングできます。

日本語ウィキペディアで事前学習されたBERTモデルで、文字レベル分かち書きと全単語マスキング戦略を採用し、日本語自然言語処理タスクに適しています

これはインドネシア語に特化した小型RoBERTaモデルで、インドネシア語テキスト処理タスク向けに最適化されています。

日本語ウィキペディアで事前学習されたBERT大規模モデル、Unidic辞書による分かち書きと全語マスキング戦略を採用

これはdistilbert-base-multilingual-casedの軽量化バージョンで、英語とフランス語の2つの言語を専門に扱い、元のモデルの表現能力と精度を維持しています。

中国語ウィキペディアテキストで事前学習されたBERTモデルで、品詞タグ付けと依存構文解析に使用されます。

bert-base-multilingual-casedを基にした日本語特化の簡素化バージョンで、元の精度を維持

これはdistilbert-base-multilingual-casedの軽量版で、英語、フランス語、スペイン語、ポルトガル語、イタリア語の処理をサポートします。

これはタイ語ウィキペディアのテキストで事前学習されたRoBERTaモデルで、BertTokenizerFastに適応するために文字レベルの埋め込みを採用しています。