Mgpt
mGPTはmC4データセットで事前学習された多言語生成モデルで、101言語をサポートし、GPT-2に似たTransformerアーキテクチャを採用しています。
ダウンロード数 147
リリース時間 : 3/2/2022
モデル概要
mGPTはTransformerアーキテクチャに基づく多言語生成モデルで、101言語のmC4データセットで因果言語モデリング目標を用いて事前学習されています。テキスト生成やプロンプトベースの下流タスク適応に適しています。
モデル特徴
多言語サポート
101言語をカバーする事前学習で、幅広い言語対応能力を有する
教師なし事前学習
生のテキストのみを使用して学習し、人手による注釈データを必要としない
共有トークナイザー
mT5と同じトークナイザーと語彙を使用し、複数モデルの連携が容易
モデル能力
多言語テキスト生成
プロンプトベースタスク適応
長文生成(最大1024トークン)
使用事例
テキスト生成
多言語コンテンツ作成
異なる言語で一貫性のあるテキストコンテンツを生成
下流タスク適応
プロンプトベースタスク実行
プロンプト設計により様々なNLPタスクに適応
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル
Transformers 複数言語対応

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2%です。
対話システム
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98