gpt3-finnish-xlオープンソースモデル - フィンランド語向けの実用的なテキスト生成ツール

Gpt3 Finnish Xl

Developed by TurkuNLP

フィンランド語向け15億パラメータの生成的事前学習Transformerモデル、BLOOMアーキテクチャで3000億トークンを訓練

Downloads 103

Release Time : 2/15/2023

Model Overview

このモデルは純粋な言語モデルで、命令微調整はされておらず、対話や質問応答シナリオ向けに微調整可能な基盤モデルとして使用可能

大規模単一言語訓練

フィンランド語専用に訓練、2070億文字以上の多様なソースデータを使用

パラメータ拡張性

1.86億から133億パラメータまでの異なる規模のモデル選択肢を提供

データ重み付けサンプリング

異なるデータソースに対してインテリジェントな重み付け戦略を採用し訓練効果を最適化

フィンランド語テキスト生成

言語モデル事前学習

基盤モデル微調整

自然言語処理

フィンランド語チャットボット

命令微調整によりフィンランド語対話システムを構築

テキスト自動生成

フィンランド語のニュース、ストーリーなどを生成

教育

フィンランド語学習支援

フィンランド語学習教材や練習問題を生成

TurkuNLPのフィンランド語GPT - 3モデルは、BLOOMアーキテクチャに基づく事前学習された単言語GPTスタイルの言語モデルのモデルファミリーです。これらのモデルは純粋な言語モデルであり、対話や質問応答のために命令微調整されていないことに注意してください。

これらのモデルは、例えば命令微調整して現代的なチャットモデルとして使用できる基礎モデルとして意図されています。

すべてのモデルは3000億トークンで学習されています。

モデル	レイヤー	次元	ヘッド	パラメータ
Small	12	768	12	1億8600万
Medium	24	1024	16	4億3700万
Large	24	1536	16	8億8100万
XL	24	2064	24	15億
”3B”	32	2560	32	28億
”8B”	32	4096	32	75億
"13B"	40	5120	40	133億

複数のフィンランド語リソースを組み合わせて使用しました。

データセット	文字数	比率	重み	重み付き比率
Parsebank	350億	16.9%	1.5	22.7%
mC4-Fi	463億	22.4%	1.0	20.0%
CC-Fi	796億	38.5%	1.0	34.4%
Fiwiki	8億	0.4%	3.0	1.0%
Lönnrot	8億	0.4%	3.0	1.0%
Yle	16億	0.8%	2.0	1.4%
STT	22億	1.1%	2.0	1.9%
ePub	135億	6.5%	1.0	5.8%
Lehdet	58億	2.8%	1.0	2.5%
Suomi24	206億	9.9%	1.0	8.9%
Reddit-Fi	7億	0.4%	1.0	0.3%
合計	2兆700億	100.0%	N/A	100.0%