D

Distilbert Base Nepali

由Sakonii開發
這是一個基於尼泊爾語文本預訓練的DistilBERT模型,專門針對尼泊爾語的下游任務優化。
下載量 109
發布時間 : 3/2/2022

模型概述

該模型基於包含超過1300萬尼泊爾語文本序列的數據集,採用掩碼語言建模(MLM)目標進行預訓練,適用於尼泊爾語的文本處理任務。

模型特點

尼泊爾語優化
專門針對尼泊爾語訓練,使用包含1300萬文本序列的數據集。
高效架構
採用DistilBERT架構,在保持性能的同時減少模型大小和計算需求。
自定義分詞器
使用句子片段模型(SPM)進行文本分詞,詞彙量達24576。

模型能力

尼泊爾語文本理解
掩碼語言預測
下游任務微調

使用案例

文本處理
文本補全
預測文本中被掩碼標記的詞語
在評估集上取得10.479的困惑度
下游任務微調
可用於序列分類、標記分類或問答等任務
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase