# 効率的な事前学習

Open-Qwen2VLはマルチモーダルモデルで、画像とテキストを入力として受け取り、テキスト出力を生成できます。

110億パラメータの大規模言語モデルで、革新的なSuperBPEトークナイザーで訓練され、スーパーワードユニット認識とサブワードトークン化能力をサポートします。

GenMedClipはopen_clipライブラリを基にしたゼロショット画像分類モデルで、医療画像分析に特化しています。

mGTEシリーズの多言語テキストエンコーダーで、75言語をサポートし、最大文脈長は8192、BERT+RoPE+GLUアーキテクチャに基づき、GLUEとXTREME-Rベンチマークで優れた性能を発揮

Meta Llama3-8Bを基に最適化したドイツ語大規模言語モデル。650億のドイツ語コーパスで継続的に事前学習され、ドイツ語に最適化され32kの長文コンテキストをサポート

Rho-1は数学分野に特化した言語モデルで、選択的言語モデリング(SLM)手法を用いて事前学習を行い、数学問題解決の正解率を大幅に向上させました。

TinyLlamaは11億パラメータのコンパクトな言語モデルで、Llama 2と同じアーキテクチャとトークナイザーを採用しており、計算リソースやメモリが限られたアプリケーションシナリオに適しています。

TinyLlamaは11億パラメータの小型言語モデルで、Llama 2と同じアーキテクチャとトークナイザーを採用しており、リソースが限られたアプリケーションシナリオに適しています。

100MW BabyLMチャレンジデータセットで訓練されたBERTの変種で、中規模コーパスでの性能を最適化

TinyLlamaは1.1BパラメータのLlamaモデルで、3兆トークンを使用して事前学習されており、コンパクトで効率的なテキスト生成能力を提供します。

TinyLlamaは1.1Bパラメータの小型Llamaモデルで、3兆トークンで事前学習され、リソースが限られた環境向けに設計されています。

これは8000万パラメータのM2-BERT事前学習チェックポイントで、シーケンス長2048をサポートし、長文コンテキスト検索タスク向けにファインチューニングされています。

RetroMAE目標に基づきチェコ語ウェブコーパスで事前学習されたBERT-smallモデルで、Seznam.czによって開発され、様々な自然言語処理タスクに適しています。

Sheared-LLaMA-2.7BはLlama-2-7bを剪枝と継続事前学習によって得られた軽量言語モデルで、わずか50Bトークンの予算で作成されました。

Sheared-LLaMA-1.3BはLLaMA-2-7Bを基に構造化プルーニングと継続事前学習を行った効率的な言語モデルです

TinyLlamaは1.1BパラメータのLlamaモデルで、3兆トークンの事前学習を計画しており、最適化により16台のA100-40G GPUで90日以内に学習を完了できます。

CodeT5+ 16Bはオープンソースのコード大規模言語モデルファミリーで、エンコーダー-デコーダーアーキテクチャを採用し、複数のモードをサポートし、幅広いコード理解と生成タスクに適しています。

VideoMAEは動画分野のマスクオートエンコーダモデルで、自己教師あり事前学習を行いKinetics-400データセットで教師ありファインチューニングされており、動画分類タスクに適しています。

VideoMAEはマスクオートエンコーダ(MAE)に基づくビデオ事前学習モデルで、自己教師あり学習によりKinetics-400データセットでファインチューニングされており、ビデオ分類タスクに適しています。

VideoMAEはマスクオートエンコーダ(MAE)に基づくビデオ自己教師あり事前学習モデルで、マスクされたビデオブロックのピクセル値を予測することでビデオ内部表現を学習します。

このモデルは、マスク言語モデリングにおいて15%の内容をマスクすることの有効性を研究し、プレレイヤー正規化手法を採用しています。

DistilBERTはBERTの軽量級蒸留バージョンで、大部分の性能を維持しながらパラメータが少なくなっています。

ファンネルTransformerとELECTRA目標を採用した効率的なアラビア語モデルで、計算コストが低く高性能

BERTINはBERTに基づく一連のスペイン語モデルで、現在のモデルはスペイン語のmC4の一部を使用してFlaxでゼロから学習されたRoBERTa-baseモデルです。

DistilCamemBERTはフランス語CamemBERTモデルの蒸留版で、知識蒸留技術によりモデルの複雑さを大幅に低減しながら性能を維持しています。

WECHSELメソッドを使用して訓練されたRoBERTaベースモデルで、スワヒリ語に特化して最適化され、効率的な言語間転移を実現。

中国語ELECTRAは、哈工大-讯飞共同研究所がGoogleのELECTRAモデルを基に開発した中国語事前学習モデルで、パラメータ数が少ないにもかかわらず優れた性能を発揮します。

SberDevicesチームによって開発されたロシア語事前学習Transformer言語モデル。GPT2アーキテクチャを基盤とし、1024シーケンス長をサポート、800億トークンのトレーニングデータを使用。

このモデルは2.5億の中国語コーパスに基づき、MobileBERTアーキテクチャを用いて事前学習を行い、トレーニング周期は15日で、単一のA100グラフィックカード上で100万ステップの反復を完了しました。

これは疎事前学習のBERT-Baseモデルで、ワンショット剪定方法により90%の重みを疎化し、さまざまな言語タスクの微調整に適しています。