Llama3.1 Korean V0.1 Sft By Aidx

🚀 韩国语专用Llama3.1指令模型

该模型基于Llama3.1 instruct基础模型开发，旨在适用于韩语及韩国的多元文化场景。它利用自主制作的53个领域的韩语数据进行训练，能够理解韩国社会价值和文化。感谢韩国数据科学协会（KTDS）的支持。

📄 许可证

本模型采用Apache-2.0许可证。

📋 模型信息

📦 训练数据

该模型基于自主开发的总计3.6GB的数据进行训练，包含233万个问答、摘要、分类等数据。其中，133万个是由53个领域的客观问题组成，涵盖韩国历史、社会、金融、法律、税务、数学、生物、物理、化学等领域，并采用思维链（Chain of Thought）方式进行训练。另外130万个主观问题则涉及韩国历史、金融、法律、税务、数学等38个领域。模型学习了能够理解韩国社会价值和人类情感，并根据指令输出内容的数据。

训练指令数据集格式如下：

{"prompt": "prompt text", "completion": "ideal generated text"}

💻 使用示例

基础用法

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("SEOKDONG/llama3.1_korean_v0.1_sft_by_aidx")
model = AutoModel.from_pretrained("SEOKDONG/llama3.1_korean_v0.1_sft_by_aidx")

input_text =  """ 「국민건강보험법」제44조, 「국민건강보험법 시행령」제19조,「약관의 규제에 관한 법률」제5조, 「상법」제54조 참조 판단 해줘"""
inputs = tokenizer(input_text, return_tensors="pt")
with torch.no_grad():
    outputs = model.generate(**inputs, max_length=1024,  temperature=0.5, do_sample=True, repetition_penalty=1.15)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

应用场景

该模型可应用于多个领域，例如：

• 教育领域：针对历史、数学、科学等各类学习资料进行问答和生成解释。
• 商业领域：回答法律、财务、税务相关问题，并进行文档摘要。
• 研究与文化领域：进行符合韩国社会和文化的自然语言处理任务、情感分析、文档生成和翻译。
• 客户服务领域：生成与用户的对话并提供定制化回复。

🔧 局限性

该模型虽然专门针对韩语和韩国文化进行了优化，但由于特定领域（如最新国际资料、专业领域）的数据不足，在处理其他语言或文化相关问题时，回答的准确性可能会受到影响。此外，模型在处理需要复杂逻辑思维的问题时，推理能力可能有限，并且如果训练数据存在偏差，可能会生成有偏差的回答。