# 大規模事前学習

MetaCLIPはCommonCrawl(CC)の25億データポイントで訓練された視覚-言語モデルで、画像-テキスト共有埋め込み空間を構築します。

Qwen3-8B-Baseは通義大規模言語モデルシリーズの最新世代の製品で、82億のパラメータを持ち、119種類の言語をサポートし、様々な自然言語処理タスクに適しています。

BARTアーキテクチャに基づく大規模ドイツ語テキスト処理モデル、様々な自然言語処理タスクに適用可能

BARTアーキテクチャに基づく大規模英独言い換え生成モデル

Gemma-2-Llama-Swallowシリーズはgemma-2モデルを継続的に事前学習することで構築され、日本語処理能力を大幅に強化しながら、元の英語能力を保持しています。

LHMはフィードフォワード型モデルで、数秒で単一画像からアニメーション可能な3D人体を再構築できます。

LHMはフィードフォワード型モデルで、単一画像から数秒でアニメーション可能な3D人体を再構築できます。

未知のデータセットでファインチューニングされた言語モデルで、トレーニングプロセスではTransformersライブラリが使用されました

LHMはフィードフォワードモデルで、単一画像から数秒でアニメーション可能な3D人体を再構築できます。大規模ビデオデータセットで画像再構築損失を使用して訓練された当モデルは、多様な現実シーンに対して強力な汎化能力を示します。

大規模な日本のテレビ放送音声データを用いて事前学習された日本語wav2vec2.0 Largeモデル

62,215時間の日本のテレビ放送音声データで事前学習された日本語HuBERT Largeモデル、音声特徴抽出用

62,215時間の日本のテレビ放送音声データに基づいて事前学習された日本語音声特徴抽出モデル

AMD Instinct MI300X GPUでトレーニングされた30億パラメータの完全オープン言語モデルファミリーで、同規模のオープンモデルを性能で凌駕

SigLIP 2に基づく視覚Transformerモデルで、画像特徴抽出のために設計されており、多言語視覚-言語タスクに適しています。

SigLIP 2はSigLIP事前学習目標を基に改良されたモデルで、意味理解、位置特定、密な特徴抽出能力を向上させるために複数の技術が統合されています。

SigLIP 2はSigLIPをベースに改良されたモデルで、意味理解、位置特定、密な特徴抽出能力を向上させるために複数の技術が統合されています。

OWLSはWhisperスタイルのモデルスイートで、研究者が音声モデルのスケーリング特性を理解するのを助けることを目的としており、多言語音声認識と翻訳をサポートします。

LLaVE-7BはLLaVA-OneVision-7Bモデルを基にした70億パラメータのマルチモーダル埋め込みモデルで、テキスト、画像、複数画像、動画の埋め込み表現能力を備えています。

このモデルはfacebook/wav2vec2-xls-r-300mをcommon_voice_17_0データセットでファインチューニングしたロシア語自動音声認識(ASR)モデルで、単語誤り率(WER)は0.195です。

このモデルはbigscience/mt0-xxl-mtからllama.cppを使用してGGUF形式に変換された多言語テキスト生成モデルで、さまざまな言語タスクをサポートしています。

C-RADIOv2はNVIDIAが開発した視覚特徴抽出モデルで、複数のサイズバージョンを提供し、画像理解と高密度処理タスクに適しています。

これはOpenCLIPフレームワークに基づき、LAION-2B英語サブセットで訓練された視覚言語モデルで、ゼロショット画像分類やクロスモーダル検索タスクに優れています。

VideoMAEv2-giantは自己教師あり学習に基づく超大規模ビデオ分類モデルで、デュアルマスキング戦略を用いて事前学習を行っています。

VideoMAEv2-Hugeは自己教師あり学習に基づくビデオ特徴抽出モデルで、UnlabeldHybrid-1Mデータセットで1200エポックの事前学習を行いました。

VideoMAEv2-Baseは自己教師あり学習に基づく動画特徴抽出モデルで、UnlabeldHybrid-1Mデータセット上でデュアルマスキングメカニズムを用いて事前学習されています。

LongVA-7B-TPOはLongVA-7Bを基に時系列選好最適化を施した動画-テキストモデルで、長動画理解タスクで優れた性能を発揮します。

OpenCLIPフレームワークを使用し、LAION-2B英語データセットで訓練された視覚-言語モデル。ゼロショット画像分類とクロスモーダル検索をサポート

Reloc3rは、事前学習済みの双視点相対カメラ姿勢回帰ネットワークと多視点運動平均モジュールを組み合わせた、簡潔で効率的なカメラ姿勢推定フレームワークです。

AIM-v2はtimmライブラリベースの画像エンコーダモデルで、10億パラメータ規模を持ち、画像特徴抽出タスクに適しています。

HieraDet画像エンコーダーに基づくSAM2モデル、効率的な画像特徴抽出に特化

EVA CLIPモデルはOpenCLIPとtimmフレームワークに基づく視覚言語モデルで、ゼロショット画像分類タスクをサポートします。

EVA02 CLIPはCLIPアーキテクチャに基づく大規模な視覚-言語モデルで、ゼロショット画像分類などのタスクをサポートします。

EVA CLIPモデルはOpenCLIPとtimmモデルの重みに基づく視覚言語モデルで、ゼロショット画像分類などのタスクをサポートします。

EVA-CLIPはCLIPアーキテクチャに基づく大規模視覚-言語モデルで、ゼロショット画像分類などのタスクをサポートします。

EVA-CLIPはCLIPアーキテクチャに基づく視覚-言語モデルで、ゼロショット画像分類タスクをサポートします。

CLIPアーキテクチャに基づく視覚トランスフォーマーモデルで、画像特徴抽出に特化しており、Apple社によってリリースされました。

CLIPアーキテクチャに基づくViT-Huge画像エンコーダーで、AppleがリリースしたDFN5B-CLIPモデル。視覚特徴抽出タスクに適しています。

SigLIPベースの視覚Transformerモデル、グローバル平均プーリングで画像特徴を処理

SigLIPベースの視覚Transformerモデル、画像エンコーダ部分のみを含み、オリジナルアテンションプーリングメカニズムを採用

CLIPアーキテクチャに基づく視覚Transformerモデルで、画像特徴抽出のために設計され、laion2Bデータセットで学習