# マルチタスク微調整

Tooka - SBERT - V2 - Smallは、意味的テキスト類似度と埋め込みタスクに使用するために訓練された文変換モデルです。これは、文や段落を密集ベクトル空間にマッピングし、この空間では意味的に類似したテキストが近くに位置します。

Moxin 7Bは強力なオープンソースの大規模言語モデルで、基礎モデルやチャットモデルなどの複数のタイプを提供し、複数の一般的なデータセットで良好な性能を示しています。

bert-mediumアーキテクチャに基づいて事前学習されたアムハラ語モデルで、パラメータ数は4050万で、29億トークンで学習され、より大規模な多言語モデルと匹敵する性能を持ちます。

TookaBERTはペルシャ語で訓練されたエンコーダーモデルファミリーで、基礎版と大規模版の2つのバージョンがあり、様々な自然言語処理タスクに適しています。

特定のトルコ語データセットを基に微調整されたモデルで、トルコ語で正確に情報を回答でき、トルコ語関連のテキスト生成タスクに強力なサポートを提供します。

カナリア-750Mは、事前学習されたトルコ語のGPT - J 750Mモデルで、トルコデータウェアハウス計画の一部です。

CamemBERT-largeベースのフランス語文埋め込みモデル、強力な意味検索能力を提供

このモデルはDistilRoBERTaに基づく軽量な自然言語推論モデルで、ゼロショット分類タスクをサポートします。

ゼロショット分類タスク用に特別に設計されたDeBERTa-v3モデルで、様々な分類タスクで優れた性能を発揮します。

Mamba - GPT - 3B - V4は、性能が卓越した3Bパラメータの言語モデルで、Open LLMランキングで優れた成績を収め、dolly - v2 - 12bを上回り、高品質の言語処理能力を提供します。

シーケンスツーシーケンスTransformerアーキテクチャに基づくベンガル語の事前学習モデルで、自然言語生成タスクに最適化されています。

BERTimbau大規模モデルに基づく法律分野専用のポルトガル語BERTモデルで、文の類似度計算と意味検索をサポートします。

BERTimbau大規模モデルに基づく法律分野専用のポルトガル語文変換器で、意味的類似度計算をサポートします。

pko-t5は韓国語最適化のために設計されたT5モデルで、純粋な韓国語データを使用して訓練され、BBPE形態素解析技術を用いて韓国語の形態素解析問題を解決します。

T5 1.1はグーグルが改良したテキストからテキストへの変換モデルで、GEGLU活性化関数を採用し、アーキテクチャを最適化し、教師なし事前学習に特化しています。

イタリア語向けに大規模なシーケンス・ツー・シーケンスTransformerモデルの事前学習を初めて実施したプロジェクトで、OSCARコーパスを用いて学習

ペルシア語の言語表現の自己教師付き学習に使用される軽量級BERTモデル

このモデルは、bert-large-uncased-whole-word-masking-squad2をsquad_v2とmit_restaurantデータセットで微調整したバージョンで、タグ分類タスクをサポートしています。

RuPERTaは、大型のスペイン語コーパスを使って訓練された大文字小文字の区別のないRoBERTaモデルで、RoBERTaの改良された事前学習方法を採用しており、様々なスペイン語のNLPタスクに適しています。

TAPASはBERTに似たTransformerモデルで、表形式の質問応答タスク用に設計されています。自己教師付き方式でウィキペディアの英語表コーパスで事前学習され、WikiSQLデータセットで微調整されています。

BARTは双方向エンコーダと自己回帰デコーダを組み合わせたTransformerモデルで、テキスト生成と理解タスクに適しています。

Data2Vec NLP基礎版はfairseqフレームワークに基づいて変換された自然言語処理モデルで、テキスト分類などのタスクに適しています。

自己教師付き方式で大規模なマラーティー語コーパス上で事前学習されたtransformersモデルで、主にマスク言語モデリングと下流タスクの微調整に使用されます。

IT5は、イタリア語に対して大規模なシーケンス-to-シーケンスTransformerモデルの事前学習を行った最初のモデルファミリーで、元のT5モデルの方法に従っています。

RobBERTは現在最先端のオランダ語BERTモデルで、RoBERTaアーキテクチャに基づいて最適化され、様々なテキスト分類とタグ付けタスクに適しています。

RobBERTは最先端のオランダ語BERTモデルで、大規模な事前学習を行っており、微調整により様々なテキストタスクに適応できます。

タイ語ウィキペディアで事前学習されたRoBERTa BASEモデルで、タイ語テキスト処理タスクに適しています。

これはBERT-baseアーキテクチャに基づく事前学習言語モデルで、2020年の米国大統領選挙に関連する英語のツイートに対して最適化された訓練を行っています。

このモデルはTAPASの小型版で、WikiTable Questionsデータセットに特化して微調整され、表形式の質問応答タスクに使用されます。

CZERTはチェコ語に特化して訓練されたBERTに類似した言語表現モデルで、複数のチェコ語NLPタスクで多言語BERTモデルよりも優れた性能を発揮します。

IT5は、イタリア語向けに大規模事前学習された最初のシーケンス・ツー・シーケンスTransformerモデルファミリーで、T5モデルの手法に従っています。

RoBERTuitoはスペイン語ソーシャルメディアテキスト向けの事前学習言語モデルで、RoBERTaフレームワークに基づき5億件のツイートで学習され、大文字小文字を区別する、区別しない、アクセントを除去する3種類の変種があります。

TAPASはTransformerベースの表形式の質問応答モデルで、自己教師付き方式でウィキペディアの英語の表データで事前学習し、WikiSQLデータセットで教師付き微調整を行います。

ALBERT XLarge v2はTransformerアーキテクチャに基づく英語事前学習モデルで、パラメータ共有メカニズムを採用してメモリ使用量を削減し、マスク言語モデリングと文順予測の目標で学習されます。

T5-smallアーキテクチャに基づくGoコードドキュメント生成モデルで、マルチタスクの事前学習と微調整を経て、Go関数/メソッドのドキュメント記述の生成に特化しています。

CAMeLBERTはアラビア語NLPタスク向けの事前学習モデルセットで、このモデルは現代標準アラビア語(MSA)のバリエーションで、126億のトークンで学習されています。

アラビア語NLPタスク用の事前学習モデルで、縮小規模（1/16）の現代標準アラビア語（MSA）データセットで学習されました。

Transformerベースのペルシア語理解モデルで、語彙表を再構築し、新しいコーパスで微調整し、複数の下流タスクをサポートします。

CAMeLBERTはアラビア語のバリエーションに最適化されたBERTモデルのセットで、CAバージョンは古典アラビア語テキストに特化して事前学習されています。

BERTjeはグロニンゲン大学によって開発されたオランダ語の事前学習BERTモデルで、オランダ語に特化して最適化されています。