Kogpt J 350m

🚀 韓國語文本生成模型

本項目是一個韓國語文本生成模型，基於GPT - J架構，使用多種韓國語語料進行訓練，可用於生成各類文本內容。

🚀 快速開始

安裝依賴

確保你已經安裝了transformers庫，若未安裝，可使用以下命令進行安裝：

pip install transformers

運行示例代碼

from transformers import pipeline

model_name = "heegyu/kogpt-j-350m"
pipe = pipeline('text-generation', model=model_name)

print(pipe("안녕하세요", repetition_penalty=1.2, do_sample=True, eos_token_id=1, early_stopping=True, max_new_tokens=128))
print(pipe("오늘 정부 발표에 따르면, ", repetition_penalty=1.2, do_sample=True, eos_token_id=1, early_stopping=True, max_new_tokens=128))
print(pipe("싸늘하다. 가슴에 비수가 날아와 꽂힌다. ", repetition_penalty=1.2, do_sample=True, eos_token_id=1, early_stopping=True, max_new_tokens=128, min_length=64))

示例結果

[{'generated_text': '안녕하세요?\n네.\n자~ 오늘 그~ 뭐~ 남북정상회담에서 인제 남북 관계와 관련된 발언이죠?\n예. 그렇습니다.\n어~ 그~ 이산가족 문제 관련해서 이산가족 상봉을\n예.\n하는 방안이 좀 가능성이 있지 않아요?\n상당히 가능성이 있죠.\n예. 이~ 구체적으로 어떤 거였나요?\n어~ 먼저 이산가족 상봉을 이제 말씀드리겠습니다.\n예.\n아까 설명드린 것처럼 그~ 이산가족 상\n네.\n그~ 상봉에 대한 그~ 구체적인 방안이 어떻게 결정되는 게 가장 좋을까요?\n우선 상봉 방법부터 얘기를 드리죠.\n'}]
[{'generated_text': '오늘 정부 발표에 따르면, gtx-d d 노선을 창릉과 수서에서 출발하는 등 당초 예정된 노선들을 모두 정차하기로 했다. 지난 2월 국토교통부가 이 노선을 일산·금정·파주 운정역과 직접 연결키로 하면서 일산~동탄, 일산~분당, 일산~양재 구간에 추가 정차할 것이라는 예상이 나왔지만 실제 일산~수서 구간이 정차하기로 확정됐다. gtx-d 노선이 일산~수서역까지 개통되는 것은 이번이 처음이다.. gtx-d 노선과 gtx-a 노선이 모두 개통되면 지하철 5호선의 서울 도심 통과 구간이 추가된다. 현재 gtx-b'}]
[{'generated_text': '싸늘하다. 가슴에 비수가 날아와 꽂힌다. \U000f0854삼국사절요\U000f0855 ‘화살촉이 울버린’의 경우에서 보면, 총소리의 원음은 鐘(종자용 : 송악), 鐘을 비(鐘)라 하고 종자의 발음은 ‘이( )’이다. 이때에서 ‘이(은)로 시작하는 발음’은 ‘이/이’의 음운적 표현이다. ‘이/은→종자용[鐘] → 송악/종자[鐘]→이→종자(鐘) …’이다. 이는 한자어로서 그 발음'}]

✨ 主要特性

• 模型架構：基於GPT - J（Flax, Pytorch）架構構建。
• 模型規模：具有20層，隱藏維度為1024，中間層維度為4096，16個注意力頭，詞彙表大小為51200，最大序列長度為1024，參數數量達350M。

📦 安裝指南

安裝所需的Python庫：

pip install transformers

💻 使用示例

基礎用法

from transformers import pipeline

model_name = "heegyu/kogpt-j-350m"
pipe = pipeline('text-generation', model=model_name)

print(pipe("안녕하세요", repetition_penalty=1.2, do_sample=True, eos_token_id=1, early_stopping=True, max_new_tokens=128))

高級用法

# 可以根據不同的輸入文本和參數設置，生成不同風格和長度的文本
print(pipe("오늘 정부 발표에 따르면, ", repetition_penalty=1.2, do_sample=True, eos_token_id=1, early_stopping=True, max_new_tokens=128))
print(pipe("싸늘하다. 가슴에 비수가 날아와 꽂힌다. ", repetition_penalty=1.2, do_sample=True, eos_token_id=1, early_stopping=True, max_new_tokens=128, min_length=64))

📚 詳細文檔

模型性能

訓練環境及超參數

• 訓練設備：TPU V2 - 8
• 學習率：3e - 4
• 批量大小：512（= 64累積 x 8設備）
• 調度器：線性
• 預熱步數：1000步
• 優化器參數：adam_beta1 = 0.9，adam_beta2 = 0.98，weight_decay = 0.01
• 訓練步數：43247（3個epoch）
• 訓練令牌數：21.11B（43247 * 512 * 1024seq / 1024^3）
• 訓練週期：2023/1/25 ~ 2023/1/29

訓練使用的數據

• AIHub SNS對話（730MB）
• AIHub口語體（422MB）
• AIHub圖書（1.6MB）
• AIHub大規模網絡數據基礎韓國語語料庫（12GB）
• 韓國語維基百科（867MB）
• 나무위키（6.4GB）
• 國立國語院信使對話（21MB）
• 國立國語院日常對話語料庫（23MB）
• 國立國語院書面語語料庫（3.2GB）
• 國立國語院口語語料庫（1.1GB）
• 國立國語院新聞語料庫（~2022，17GB）
• 青瓦臺國民請願（525MB）

數據集大小以預處理後的jsonl文件為基準，總令牌數約為7B。

🔧 技術細節

模型基於GPT - J架構，通過在多種韓國語語料上進行訓練，學習語言的模式和規律，從而實現文本生成功能。訓練過程中使用了TPU V2 - 8設備，並對超參數進行了精心調整，以達到較好的性能。

📄 許可證

本項目採用MIT許可證。

⚠️ 重要提示

本模型的訓練數據可能包含各種歧視/仇恨數據，且未進行單獨的去除操作。因此，模型生成的句子可能會包含針對特定人物、種族、性別、殘疾的歧視/仇恨言論。在使用時請謹慎對待生成的內容。