Ktdsbaselm V0.12 Based On Openchat3.5

🚀 ktdsbaseLM v0.11

ktdsbaseLM v0.11は、openchat3.5をFoundationモデルとして、韓国語や韓国の様々な文化に適用できるように開発されたモデルです。自社で制作した53領域の韓国語データを活用し、韓国社会の価値や文化を理解することができます。

🚀 クイックスタート

ktdsbaseLM v0.11を使用するには、以下の手順に従ってください。

import os
import os.path as osp
import sys
import fire
import json
from typing import List, Union
import pandas as pd
import torch
from torch.nn import functional as F

import transformers
from transformers import TrainerCallback, TrainingArguments, TrainerState, TrainerControl, BitsAndBytesConfig
from transformers.trainer_utils import PREFIX_CHECKPOINT_DIR
from transformers import LlamaForCausalLM, LlamaTokenizer
from transformers import AutoModelForCausalLM, AutoTokenizer

from datasets import load_dataset

from peft import (
    LoraConfig,
    get_peft_model,
    set_peft_model_state_dict
)
from peft import PeftModel
import re
import ast

device = 'auto' #@param {type: "string"}
model = '' #@param {type: "string"}
model = AutoModelForCausalLM.from_pretrained(
  model,
  quantization_config=bnb_config,
  #load_in_4bit=True, # Quantization Load
  device_map=device)

tokenizer = AutoTokenizer.from_pretrained(base_LLM_model)

input_text = "안녕하세요."
inputs = tokenizer(input_text, return_tensors="pt")
inputs = inputs.to("cuda:0")

with torch.no_grad():
    outputs = model.generate(**inputs, max_length=1024)

result = tokenizer.decode(outputs[0], skip_special_tokens=True)

✨ 主な機能

• モデル名及び主な機能：KTDSbaseLM v0.11は、OpenChat 3.5モデルをベースに、Mistral 7B / openchat3.5モデルをSFT方式でファインチューニングしたモデルです。韓国語や韓国の様々な文化的文脈を理解するように設計されており、自社で制作した135領域の韓国語データを活用して、韓国社会の価値や文化を反映しています。主な機能として、テキスト生成、会話推論、文書要約、質問応答、感情分析、自然言語処理関連の様々なタスクをサポートしており、法務、財務、科学、教育、ビジネス、文化研究などの様々な分野で応用することができます。
• モデルアーキテクチャ：KTDSBaseLM v0.11は、Mistral 7Bモデルをベースに、パラメータ数が70億個（7B）の高性能言語モデルです。このモデルはOpenChat 3.5をFoundationモデルとして、SFT（教師付き微調整）方式を通じて、韓国語や韓国文化に特化した性能を発揮するように訓練されています。Mistral 7Bの軽量構造は、高速な推論速度とメモリ効率を保証し、テキスト生成、質問応答、文書要約、感情分析などの様々な自然言語処理タスクに最適化されています。

📦 インストール

インストールに関する具体的な手順は提供されていません。

💻 使用例

基本的な使用法

# 基本的な使用方法のコード
import os
import os.path as osp
import sys
import fire
import json
from typing import List, Union
import pandas as pd
import torch
from torch.nn import functional as F

import transformers
from transformers import TrainerCallback, TrainingArguments, TrainerState, TrainerControl, BitsAndBytesConfig
from transformers.trainer_utils import PREFIX_CHECKPOINT_DIR
from transformers import LlamaForCausalLM, LlamaTokenizer
from transformers import AutoModelForCausalLM, AutoTokenizer

from datasets import load_dataset

from peft import (
    LoraConfig,
    get_peft_model,
    set_peft_model_state_dict
)
from peft import PeftModel
import re
import ast

device = 'auto' #@param {type: "string"}
model = '' #@param {type: "string"}
model = AutoModelForCausalLM.from_pretrained(
  model,
  quantization_config=bnb_config,
  #load_in_4bit=True, # Quantization Load
  device_map=device)

tokenizer = AutoTokenizer.from_pretrained(base_LLM_model)

input_text = "안녕하세요."
inputs = tokenizer(input_text, return_tensors="pt")
inputs = inputs.to("cuda:0")

with torch.no_grad():
    outputs = model.generate(**inputs, max_length=1024)

result = tokenizer.decode(outputs[0], skip_special_tokens=True)

高度な使用法

高度な使用法に関する具体的なコードは提供されていません。

📚 ドキュメント

学習データ

• ktdsbaseLM v0.11は、自社で開発した合計3.6GBのデータを基に訓練されました。合計233万件のQ&A、要約、分類などのデータが含まれており、そのうち133万件は53領域の選択問題で構成されています。これらの領域には、韓国史、社会、財務、法務、税務、数学、生物学、物理学、化学などが含まれており、Chain of Thought方式で訓練されています。また、130万件の主観的な問題は、韓国史、財務、法務、税務、数学など38領域にわたって訓練されています。学習データの中には、韓国社会の価値や人間の感情を理解し、指示された内容に応じて出力できるデータが含まれています。
• 学習命令データセット形式：

  {"prompt": "prompt text", "completion": "ideal generated text"}

使用事例

ktdsbaseLM v0.12は、様々な応用分野で使用できます。例えば：

• 教育分野：歴史、数学、科学などの様々な学習資料に関する質問応答や説明生成。
• ビジネス：法務、財務、税務関連の質問に対する回答提供や文書要約。
• 研究及び文化：韓国社会や文化に合わせた自然言語処理タスク、感情分析、文書生成、翻訳。
• カスタマーサービス：ユーザーとの会話生成やカスタマイズされた応答提供。
• このモデルは、様々な自然言語処理タスクで高い活用度を持っています。

限界

• ktdsBaseLM v0.12は、韓国語や韓国文化に特化していますが、特定の領域（例：最新の国際資料、専門分野）のデータが不足しているため、他の言語や文化に対する応答の正確性が低下する可能性があります。また、複雑な論理的思考を必要とする問題に対しては、推論能力が制限される可能性があり、偏ったデータが含まれている場合、偏った応答が生成される可能性もあります。

🔧 技術詳細

技術的な詳細に関する具体的な説明は提供されていません。

📄 ライセンス

このモデルは、apache-2.0ライセンスの下で提供されています。

✅ 今後の展望

KTDSは、openchatの他にも、LlaMA、Polyglot、EEVEなどの代表的なLLMに、様々な領域の韓国の文化や知識をファインチューニングしたLLMを提供する予定です。