# 事前学習言語モデル

Trendyolによって事前学習されたトルコ語Bertモデルで、様々な自然言語理解タスクに適しています。

Chronosは言語モデルアーキテクチャに基づく事前学習済み時系列予測モデルファミリーで、時系列データをトークン系列に変換して学習し、確率的予測をサポートします。

Glot500は、500種類以上の言語をサポートする多言語事前学習モデルで、マスク言語モデリング（MLM）の目標に基づいて学習されています。

36億パラメータを持つ日本語GPT-NeoXモデルで、Transformerアーキテクチャに基づき、3.125兆トークンの日本語コーパスで学習されています。

タイ語固有表現認識タスク向けに微調整された事前学習言語モデル、LST20データセットに基づく

ClinicalT5はT5アーキテクチャに基づく生成型言語モデルで、臨床テキスト処理に特化して事前学習されており、医療分野の自然言語処理タスクに適しています。

イタリア語XXL BERTモデルを基盤とし、国家司法アーカイブ3.7GBの前処理済みテキストで追加事前訓練を行った法分野特化モデル

哪吒(NEZHA)は中国語理解向けの神経コンテキスト化表現モデルで、Transformerアーキテクチャに基づき、Huawei Noah's Ark Labによって開発されました。

ViHealthBERTはベトナム語の健康テキストマイニング向けの事前学習言語モデルで、医療健康分野で強力なベースライン性能を提供します

これはRoBERTaアーキテクチャに基づくスロバキア語マスクフィリングモデルで、スロバキア語テキストタスクの処理に適しています。

ブラジルポルトガル語向けの事前学習BERTモデルで、複数のNLPタスクにおいて最先端の性能を達成

このモデルはLongformerアーキテクチャを使用して訓練され、機械による改竄された不正コピーテキストの検出に特化しており、学術的誠実性の維持において重要な応用価値を持っています。

文言文テキスト生成に特化したGPT2モデルで、300万件の文言文データを基に事前学習されています。

TCR-BERTはBERTアーキテクチャに基づく事前学習モデルで、T細胞受容体（TCR）配列に特化して最適化されており、マスクアミノ酸モデリングタスクを通じて訓練されています。

KoGPT2はHuggingface Transformersフレームワークに基づく韓国語生成事前学習モデルで、SKT - AIによって開発されオープンソース化されました。

AraELECTRAに基づくアラビア語ウィキペディア質問応答システムで、アラビア語読解タスク用に設計されています。

FinancialBERTは大量の金融テキストで事前学習されたBERTモデルで、金融分野の自然言語処理の研究と実践を推進することを目的としています。

BROSは、テキストと版面レイアウトに特化した事前学習言語モデルで、文書から効率的に重要情報を抽出することを目的としています。

HeBERTはヘブライ語に基づく事前学習言語モデルで、BERTアーキテクチャを採用し、極性分析と感情識別タスクに特化しています。

全単語マスキング戦略を採用した中国語事前学習BERTモデルで、中国語自然言語処理研究を加速することを目的としています。

KoBARTはBARTアーキテクチャに基づく韓国語事前学習モデルで、様々な韓国語自然言語処理タスクに適用できます。

韓国大学のDmis-labによって開発されたBioBERTベースの生物医学実体認識モデルで、NCBI疾患データセットの特徴抽出タスクに特化しています。

これはGPT - 2アーキテクチャに基づくドイツ語言語モデルで、ドイツ語テキスト生成タスクに特化して最適化されています。

Arabic-BERTを初期化し、1000万件のアラビア語ツイートで学習した多方言BERTモデルで、アラビア語の複数の方言識別をサポートします。

BigBirdアーキテクチャに基づく中国語事前学習モデル、4096長のコンテキスト処理をサポート

NepaliBERTは、BERTアーキテクチャに基づく高度なネパール語言語モデルで、マスク言語モデリング（MLM）手法を用いて訓練されています。

ParsGPT2はペルシア語版のGPT - 2モデルで、Hooshvareチームによって開発され、ペルシア語テキスト生成タスクに使用されます。

CAMeLBERTはアラビア語のバリエーションに最適化されたBERTモデルのセットで、CAバージョンは古典アラビア語テキストに特化して事前学習されています。