# 低リソースNLP

boltuix/NeuroBERT-Miniを基にした静的量子化バージョン、エッジデバイス向けに最適化された小型BERTモデル

SimpleStoriesは説明可能性研究のために設計されたマイクロモデルファミリーで、SimpleStoriesデータセットでトレーニングされ、ストーリー生成タスクに特化しています。

BART-largeベースの少数事例要約生成モデルで、XSUMデータセットの100サンプルで訓練され、要約タスクにおける少数事例学習の可能性を示しています。

タタール語向けに開発されたクロストークン大規模言語モデル、Mistral-7B-Instruct-v0.2を基に変換

TiRoBERTaをファインチューニングしたティグリニャ語の侮辱的コンテンツ検出モデルで、13,717件のYouTubeコメントデータセットで訓練

DistilBERTベースのウェブサイト分類モデルで、微調整により未知のデータセットで95.04%の正確率を達成しました。

AfroLMは23のアフリカ言語に最適化された事前学習言語モデルで、能動学習フレームワークを採用し、少量のデータで高性能を実現

このモデルはベンガル語SQuADデータセットでBanglaBERTをファインチューニングしたバージョンで、QAタスク用です

ELECTRAは、従来の生成型事前学習を判別型事前学習で置き換えることで、計算効率を大幅に向上させた効率的な自己教師あり言語表現学習手法です。

1Mから1Bトークン規模のデータセットで事前学習されたRoBERTaバリアントで、BASEとMED-SMALLの2つの仕様があり、リソースが限られた場面での自然言語処理タスクに適しています

このモデルは、ALBERT-large-v2をベースにGLUE RTEタスクで微調整されたテキスト分類モデルで、テキストの含意関係を識別するために使用されます。

異なる規模のデータセット(1M-1Bトークン)で事前学習されたRoBERTaシリーズモデルで、BASEとMED-SMALLの2種類の仕様を含む

IndicBARTはインドの言語と英語に特化した多言語シーケンス・ツー・シーケンス事前学習モデルで、11のインド言語をサポートし、mBARTアーキテクチャに基づいて構築されています。

これはインドネシア語に特化した小型RoBERTaモデルで、インドネシア語テキスト処理タスク向けに最適化されています。

10億トークンスケールで事前学習されたRoBERTaベースモデル、検証パープレキシティは3.93、英語テキスト処理タスクに適しています。