Byt5 Korean Base
ByT5-韓国語はGoogleのByT5の韓国語カスタマイズ拡張版で、特に韓国語の音節エンコーディング処理を最適化しています。
ダウンロード数 55
リリース時間 : 3/27/2022
モデル概要
このモデルはByT5アーキテクチャに基づく韓国語自然言語処理モデルで、改良されたutf-8エンコーディングスキームにより韓国語の音節をより適切に処理し、韓国語と英語のテキスト処理をサポートします。
モデル特徴
最適化された韓国語エンコーディングスキーム
韓国語の音節専用に設計されたエンコーディングスキームで、各文字(初声、中声、終声)を個別のトークンとして表現し、処理効率を向上させます。
多言語サポート
韓国語(70%)と英語(30%)の混合データセットでプレトレーニングされており、バイリンガル処理をサポートします。
ByT5アーキテクチャベース
ByT5モデルの利点を継承し、バイトレベルエンコーディングを使用しており、様々な言語タスクに適しています。
モデル能力
韓国語テキスト生成
英語テキスト生成
多言語テキスト処理
使用事例
コンテンツ生成
韓国語Wikipediaコンテンツ補完
韓国語Wikipediaの欠落コンテンツを自動補完
例では'설립되었다'などの韓国語コンテンツが正常に補完されました
テキスト補完
韓国語文章補完
文脈に基づいて韓国語の文章を自動補完
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル
Transformers 複数言語対応

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2%です。
対話システム
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98