# 動的マスクアテンション

Dogeモデルは動的マスクアテンションメカニズムを使用してシーケンス変換を行い、多層パーセプトロンまたはクロスドメインエキスパート混合を選択して状態変換を行うことができます。

Dogeモデルは動的マスクアテンション機構を使用してシーケンス変換を行い、多層パーセプトロンまたはクロスドメイン混合エキスパートを使用して状態変換が可能です。

Doge 320M 指導版は動的マスクアテンションを基にした軽量言語モデルで、教師ありファインチューニング(SFT)と直接選好最適化(DPO)で訓練され、質問応答や対話タスクに適しています。

Dogeは動的マスクアテンションメカニズムを採用したシーケンス変換モデルで、多層パーセプトロンまたはクロスドメインエキスパート混合を使用して状態変換を行います。

Doge 160M 推論蒸留版は、動的マスクアテンションメカニズムとクロスドメイン混合専門家に基づく軽量言語モデルで、推論と質問応答タスクに特化しています。

Doge 160Mは動的マスクアテンションメカニズムに基づく小型言語モデルで、教師あり微調整(SFT)と直接選好最適化(DPO)で訓練されています。

Doge 160M は動的マスクアテンションメカニズムを採用した小型言語モデルで、SmallDoge コミュニティによってトレーニングされ、テキスト生成タスクをサポートします。

Doge 20Mは動的マスクアテンション機構に基づく小型言語モデルで、命令追従と質問応答タスクをサポートします。