# BPEトークン化

BERTアーキテクチャに基づくTransformerエンコーダモデルで、RNAシーケンス埋め込み生成専用に設計

GENA-LMは長いDNA配列向けのオープンソース基礎モデルファミリーで、ヒトDNA配列で訓練されたTransformerマスク言語モデルです。

ロシア語事前学習用の双方向エンコーダモデルで、大規模テキストコーパス上で標準マスク言語モデリング目標により学習完了

トルコ語に基づくRoBERTaモデルで、マスク言語モデリング（MLM）目標を用いて事前学習され、大文字小文字を区別しません。

トルコ語を使用したマスク言語モデリング（MLM）目標で事前学習されたRoBERTaモデルで、大文字小文字を区別せず、中規模アーキテクチャです。

SberDevicesチームが事前学習したロシア語大規模言語モデル、Transformerアーキテクチャに基づき、パラメータ数4.27億、学習データ量30GB

これはESPnet2フレームワークでトレーニングされた自動音声認識(ASR)事前学習モデルで、mini-an4データセットを使用してトレーニングされ、英語音声認識をサポートします。