Llama3.1 Korean V0.1 Sft By Aidx

🚀 韓國語專用Llama3.1指令模型

該模型基於Llama3.1 instruct基礎模型開發，旨在適用於韓語及韓國的多元文化場景。它利用自主製作的53個領域的韓語數據進行訓練，能夠理解韓國社會價值和文化。感謝韓國數據科學協會（KTDS）的支持。

📄 許可證

本模型採用Apache-2.0許可證。

📋 模型信息

📦 訓練數據

該模型基於自主開發的總計3.6GB的數據進行訓練，包含233萬個問答、摘要、分類等數據。其中，133萬個是由53個領域的客觀問題組成，涵蓋韓國曆史、社會、金融、法律、稅務、數學、生物、物理、化學等領域，並採用思維鏈（Chain of Thought）方式進行訓練。另外130萬個主觀問題則涉及韓國曆史、金融、法律、稅務、數學等38個領域。模型學習了能夠理解韓國社會價值和人類情感，並根據指令輸出內容的數據。

訓練指令數據集格式如下：

{"prompt": "prompt text", "completion": "ideal generated text"}

💻 使用示例

基礎用法

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("SEOKDONG/llama3.1_korean_v0.1_sft_by_aidx")
model = AutoModel.from_pretrained("SEOKDONG/llama3.1_korean_v0.1_sft_by_aidx")

input_text =  """ 「국민건강보험법」제44조, 「국민건강보험법 시행령」제19조,「약관의 규제에 관한 법률」제5조, 「상법」제54조 참조 판단 해줘"""
inputs = tokenizer(input_text, return_tensors="pt")
with torch.no_grad():
    outputs = model.generate(**inputs, max_length=1024,  temperature=0.5, do_sample=True, repetition_penalty=1.15)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

應用場景

該模型可應用於多個領域，例如：

• 教育領域：針對歷史、數學、科學等各類學習資料進行問答和生成解釋。
• 商業領域：回答法律、財務、稅務相關問題，並進行文檔摘要。
• 研究與文化領域：進行符合韓國社會和文化的自然語言處理任務、情感分析、文檔生成和翻譯。
• 客戶服務領域：生成與用戶的對話並提供定製化回覆。

🔧 侷限性

該模型雖然專門針對韓語和韓國文化進行了優化，但由於特定領域（如最新國際資料、專業領域）的數據不足，在處理其他語言或文化相關問題時，回答的準確性可能會受到影響。此外，模型在處理需要複雜邏輯思維的問題時，推理能力可能有限，並且如果訓練數據存在偏差，可能會生成有偏差的回答。