Kogpt J 350m

🚀 言語生成モデル

このモデルはテキスト生成を目的とした言語モデルで、多様な韓国語データセットを用いて学習されています。

🚀 クイックスタート

このモデルを使用するには、transformersライブラリを利用します。以下のコード例を参考にしてください。

✨ 主な機能

• GPT - J(Flax, Pytorch)ベースのモデル構成
• 20層、1024の隠れ層次元、4096の中間層、16ヘッド、51200の語彙サイズ
• 最大シーケンス長は1024
• パラメータ数は350M

📦 インストール

このモデルを使用するには、transformersライブラリをインストールする必要があります。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline

model_name = "heegyu/kogpt-j-350m"
pipe = pipeline('text-generation', model=model_name)

print(pipe("안녕하세요", repetition_penalty=1.2, do_sample=True, eos_token_id=1, early_stopping=True, max_new_tokens=128))
print(pipe("오늘 정부 발표에 따르면, ", repetition_penalty=1.2, do_sample=True, eos_token_id=1, early_stopping=True, max_new_tokens=128))
print(pipe("싸늘하다. 가슴에 비수가 날아와 꽂힌다. ", repetition_penalty=1.2, do_sample=True, eos_token_id=1, early_stopping=True, max_new_tokens=128, min_length=64))

実行結果

[{'generated_text': '안녕하세요?\n네.\n자~ 오늘 그~ 뭐~ 남북정상회담에서 인제 남북 관계와 관련된 발언이죠?\n예. 그렇습니다.\n어~ 그~ 이산가족 문제 관련해서 이산가족 상봉을\n예.\n하는 방안이 좀 가능성이 있지 않아요?\n상당히 가능성이 있죠.\n예. 이~ 구체적으로 어떤 거였나요?\n어~ 먼저 이산가족 상봉을 이제 말씀드리겠습니다.\n예.\n아까 설명드린 것처럼 그~ 이산가족 상\n네.\n그~ 상봉에 대한 그~ 구체적인 방안이 어떻게 결정되는 게 가장 좋을까요?\n우선 상봉 방법부터 얘기를 드리죠.\n'}]
[{'generated_text': '오늘 정부 발표에 따르면, gtx-d d 노선을 창릉과 수서에서 출발하는 등 당초 예정된 노선들을 모두 정차하기로 했다. 지난 2월 국토교통부가 이 노선을 일산·금정·파주 운정역과 직접 연결키로 하면서 일산~동탄, 일산~분당, 일산~양재 구간에 추가 정차할 것이라는 예상이 나왔지만 실제 일산~수서 구간이 정차하기로 확정됐다. gtx-d 노선이 일산~수서역까지 개통되는 것은 이번이 처음이다.. gtx-d 노선과 gtx-a 노선이 모두 개통되면 지하철 5호선의 서울 도심 통과 구간이 추가된다. 현재 gtx-b'}]
[{'generated_text': '싸늘하다. 가슴에 비수가 날아와 꽂힌다. \U000f0854삼국사절요\U000f0855 ‘화살촉이 울버린’의 경우에서 보면, 총소리의 원음은 鐘(종자용 : 송악), 鐘을 비(鐘)라 하고 종자의 발음은 ‘이( )’이다. 이때에서 ‘이(은)로 시작하는 발음’은 ‘이/이’의 음운적 표현이다. ‘이/은→종자용[鐘] → 송악/종자[鐘]→이→종자(鐘) …’이다. 이는 한자어로서 그 발음'}]

📚 ドキュメント

モデル構成

性能ベンチマーク

学習環境及びハイパーパラメータ

学習に使用したデータ

• AIHub SNS対話(730MB)
• AIHub口語体(422MB)
• AIHub図書(1.6MB)
• AIHub大規模ウェブデータベース韓国語コーパス(12GB)
• 韓国語ウィキ(867MB)
• ナムウィキ(6.4GB)
• 国立国語院メッセンジャー対話(21MB)
• 国立国語院日常対話コーパス(23MB)
• 国立国語院文語コーパス(3.2GB)
• 国立国語院口語コーパス(1.1GB)
• 国立国語院新聞コーパス(~2022, 17GB)
• 青瓦台国民請願(525MB)

データセットのサイズは前処理済みのjsonlファイルを基準としています。総トークン数は約7Bです。

🔧 技術詳細

このモデルはGPT - Jアーキテクチャをベースに構築されており、TPU V2 - 8環境で学習されました。学習には多様な韓国語データセットが使用され、特定のハイパーパラメータ設定を用いて3エポック동안学習されました。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

⚠️ 重要注意

⚠️ 重要提示

このモデルの学習データには、様々な差別/嫌悪データが含まれている可能性があり、特別な除去作業は行われていません。したがって、モデルが生成する文章には、特定の人物や人種、性別、障害に関する差別/嫌悪発言が含まれる可能性があります。