D

Distilbert Base Nepali

Sakoniiによって開発
これはネパール語のテキストで事前学習されたDistilBERTモデルで、ネパール語の下流タスクに特化して最適化されています。
ダウンロード数 109
リリース時間 : 3/2/2022

モデル概要

このモデルは、1300万を超えるネパール語のテキストシーケンスを含むデータセットに基づいて、マスク言語モデリング(MLM)の目標を用いて事前学習され、ネパール語のテキスト処理タスクに適しています。

モデル特徴

ネパール語最適化
ネパール語に特化して学習され、1300万のテキストシーケンスを含むデータセットを使用しています。
高効率アーキテクチャ
DistilBERTアーキテクチャを採用し、性能を維持しながらモデルサイズと計算要件を削減します。
カスタムトークナイザー
センテンスピースモデル(SPM)を使用してテキストをトークン化し、語彙数は24576です。

モデル能力

ネパール語のテキスト理解
マスク言語予測
下流タスクの微調整

使用事例

テキスト処理
テキスト補完
テキスト内のマスクされた単語を予測する
評価セットで10.479の困惑度を達成しました
下流タスクの微調整
シーケンス分類、タグ分類、または質問応答などのタスクに使用できます
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase