Ko Gpt Trinity 1.2B V0.5

🚀 Ko - GPT - Trinity 1.2B (v0.5)

Ko - GPT - Trinity 1.2Bは、SKテレコムがGPT - 3アーキテクチャを再現して設計したトランスフォーマーモデルです。Ko - GPT - Trinityはモデルのクラスを指し、1.2Bはこの特定の事前学習モデルのパラメータ数を表します。

🚀 クイックスタート

Ko - GPT - Trinity 1.2Bは、韓国語の内部表現を学習し、下流タスクに役立つ特徴を抽出するために使用できます。また、プロンプトからのテキスト生成に優れています。

✨ 主な機能

• 韓国語の特徴抽出に適しています。
• プロンプトからのテキスト生成が得意です。

📦 インストール

原文書にインストール手順に関する内容がありません。

💻 使用例

原文書にコード例がありません。

📚 ドキュメント

モデルの詳細

モデルの日付

2021年5月

モデルの種類

言語モデル

モデルのバージョン

12億パラメータのモデル

学習データ

Ko - GPT - Trinity 1.2Bは、SKテレコムがこのモデルの学習用に作成した大規模な精選データセットであるKo - DATで学習されました。

学習手順

このモデルは、350億トークンのko - DATで72,000ステップにわたって学習されました。マスク自己回帰型言語モデルとして、交差エントロピー損失を使用して学習されました。

想定される使用法と制限事項

モデルは韓国語の内部表現を学習し、下流タスクに役立つ特徴を抽出するために使用できます。モデルは、事前学習の目的であるプロンプトからのテキスト生成に優れています。

制限事項とバイアス

Ko - GPT - Trinityは、不適切な言葉、猥褻な言葉、政治的な言葉、その他の荒っぽい言葉を含むことが知られているデータセットであるKo - DATで学習されています。そのため、社会的に受け入れられないテキストを生成する可能性があります。すべての言語モデルと同様に、Ko - GPT - Trinityが特定のプロンプトにどのように反応するかを事前に予測することは困難であり、不快な内容が突然表示されることがあります。

Ko - GPT - Trinityは自己回帰型言語モデルとして学習されています。これは、その核心機能がテキストの文字列を受け取り、次のトークンを予測することであることを意味します。言語モデルはこれ以外のタスクにも広く使用されていますが、これは現在も活発に研究されている分野です。既知の制限事項には以下のものがあります。

• 主に韓国語: Ko - GPT - Trinityは主に韓国語のテキストで学習されており、韓国語のテキストを分類、検索、要約、または生成するのに最適です。Ko - GPT - Trinityは、デフォルトで、学習データの分布と異なる入力、非韓国語や学習データにあまり表されていない韓国語の特定の方言などに対しては性能が低下します。
• 解釈可能性と予測可能性: Ko - GPT - Trinityの動作を解釈または予測する能力は非常に限られており、これはほとんどのディープラーニングシステム、特にこの規模のモデルに共通する制限です。
• 新しい入力に対する高い分散: Ko - GPT - Trinityは、新しい入力に対する予測が必ずしも適切に調整されているわけではありません。これは、標準的なベンチマークでのパフォーマンスの分散が人間と比較してはるかに大きいことからわかります。

評価結果

推論

モデルに関する質問やコメントの送信先

[Eric] (eric.davis@sktair.com)までご連絡ください。

🔧 技術詳細

原文書に技術詳細に関する内容がありません。

📄 ライセンス

このモデルはCC - BY - NC - SA - 4.0ライセンスの下で提供されています。