# 軽量事前学習

Arsh LLMは研究目的で設計されたオープンソースの大規模言語モデルで、olmo混合データセットを使用しT4 GPU上で約4-5日かけて事前学習を完了しました。

Mistral 7Bモデルを基に2.48億パラメータまで縮小した言語モデルで、テキスト生成タスク向けに設計されており、下流タスクの微調整に適しています。

Transformerアーキテクチャに基づく軽量事前学習エンコーダ-デコーダモデルで、中国語ニュース要約生成タスク専用です。

小型BERT言語モデルで、先頭文字予測を事前学習目標として採用

小型のBERT言語モデルで、マスクされたトークン内の文字のASCIIコード値の合計を予測することを事前学習の目標として学習されています。

これはRoBERTaアーキテクチャに基づく中国語事前学習言語モデルで、パラメータ規模は8層512隠れユニットであり、様々な中国語自然言語処理タスクに適しています。

SEW-tinyはASAPP Researchによって開発された圧縮高効率型音声事前学習モデルで、16kHzサンプリングの音声オーディオを基に事前学習され、様々な下流音声タスクに適用可能です。

これはCLUECorpusSmallを基に事前学習された中国語RoBERTa中型モデルで、8層のネットワークと512次元の隠れ層を持ち、様々な中国語自然言語処理タスクに適しています。

CLUECorpusSmallで事前学習された中国語分かち書き版RoBERTaミディアムモデル。8層512隠れ層アーキテクチャを採用し、文字単位モデルに比べて複数のタスクで優れた性能を発揮

CLUECorpusSmallで事前学習された中国語RoBERTaモデルで、パラメータ規模は8層512隠れユニット、マスク言語モデリングタスクをサポートしています。

CLUECorpusSmallで事前学習された中国語RoBERTaモデル、パラメータ規模は8層512隠れユニット

CLUECorpusSmallで事前学習された24の中国語RoBERTaモデルシリーズの1つで、UER-pyフレームワークでトレーニングされ、マスク言語モデリングとテキスト特徴抽出をサポートします。

知識蒸留技術に基づいて事前学習された軽量BERTモデルで、隠れ層の次元は256で、4つのアテンションヘッドを備え、マスク言語モデリングタスクに適しています。

CLUECorpusSmallで事前学習された中国語RoBERTaモデルで、8層512隠れ層のパラメータ規模を持ち、様々な中国語NLPタスクに適しています。

CLUECorpusSmallで事前学習された中国語RoBERTaモデルで、8層ネットワークと512次元の隠れ層を含み、さまざまな中国語NLPタスクに適しています。

CLUECorpusSmallで事前学習された中国語RoBERTa中型モデルで、8層ネットワークと512次元の隠れ層を持ち、様々な中国語NLPタスクに適しています。

中国語ELECTRAは、ハルビン工業大学-iFLYTEK共同研究所がGoogleのELECTRAモデルを基にリリースした中国語事前学習モデルで、コンパクトかつ優れた性能を発揮します。

RoBERTaアーキテクチャに基づく中国語事前学習言語モデル、隠れ層次元512、8層Transformer構造を含む

中国語マルチモーダル事前学習モデル孟子-オスカーを基に、AIC-ICC中国語画像キャプションデータセットでファインチューニングされた中国語マルチモーダル画像キャプションモデル

アラビア語NLPタスク用の事前学習モデルで、縮小規模（1/16）の現代標準アラビア語（MSA）データセットで学習されました。