# 双方向アテンションメカニズム

The Stack v2データセットで事前訓練された10億パラメータのコードエンコーダー、モジュラー設計と双方向自己注意メカニズムを採用

LLM2Vecは、デコーダのみのアーキテクチャを持つ大規模言語モデルをテキストエンコーダに変換するシンプルなソリューションで、双方向アテンション、マスクされた次単語予測、教師なしコントラスティブラーニングを有効にすることで実現します。