AIbase
JA
ホーム
Xtremedistil L6 H384 Uncased Finetuned Wikitext103
X

Xtremedistil L6 H384 Uncased Finetuned Wikitext103

sagharによって開発
このモデルは、マイクロソフトのXtremedistilモデルをベースにした軽量蒸留バージョンで、wikitextデータセットで微調整され、テキスト生成タスクに適しています。
大規模言語モデル
Transformers
オープンソースライセンス:MIT#テキスト生成の微調整#軽量蒸留#WikiText適合
ダウンロード数 18
リリース時間 : 3/19/2022

モデル概要

これは微調整された軽量言語モデルで、マイクロソフトのXtremedistilアーキテクチャに基づいており、wikitextデータに特化して最適化されており、テキスト生成や関連する自然言語処理タスクに使用できます。

モデル特徴

軽量アーキテクチャ
6層384次元の隠れ層を持つシンプルなアーキテクチャを採用しており、完全なモデルよりも効率的です。
wikitext最適化
wikitextデータに特化して微調整されており、ウィキペディアスタイルのテキストを処理するのに適しています。
効率的なトレーニング
Adamオプティマイザと線形学習率スケジューラを使用し、3エポック以内で微調整を完了します。

モデル能力

テキスト生成
言語モデルの微調整

使用事例

テキスト生成
ウィキペディアスタイルのテキスト生成
ウィキペディアの記事に似た構造化テキストを生成します。
wikitext検証セットで6.5526の損失値を達成しました。
教育研究
言語モデルの研究
軽量言語モデルの研究基準として使用します。
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers 複数言語対応
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers 英語
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
English简体中文繁體中文にほんご
© 2025AIbase