D

Duo

由s-sahoo開發
DUO是一個基於Transformers庫的預訓練模型,專注於掩碼語言建模任務,適用於自然語言處理領域。
下載量 212
發布時間 : 2/18/2025

模型概述

DUO模型是一個用於掩碼語言建模的預訓練模型,具有與GPT2-medium相似的參數規模,在OpenWebText語料庫上進行了訓練。

模型特點

大上下文長度
支持1024的上下文長度,適合處理長文本任務。
高效訓練
在OpenWebText語料庫上進行了100萬步的訓練,優化了模型性能。
與GPT2-medium相似規模
參數規模與GPT2-medium相近,約1.3億個非嵌入參數。

模型能力

掩碼語言建模
文本生成
自然語言理解

使用案例

自然語言處理
文本補全
使用掩碼語言建模能力補全缺失的文本部分。
語言模型微調
作為基礎模型,可用於特定任務的微調。
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase