Llama3.1 Korean V1.1 Sft By Aidx

🚀 AIDX-ktds/ktdsbaseLM-v0.14-onbased-llama3.1

该模型基于LlaMA3.1，通过微调适配韩语及韩国文化，利用53个领域的韩语数据，能理解韩国社会价值与文化，可用于文本生成、问答等多种自然语言处理任务。

🚀 快速开始

使用该模型前，请确保你已经安装了transformers库。以下是一个简单的使用示例：

from transformers import AutoModel, AutoTokenizer
  
tokenizer = AutoTokenizer.from_pretrained("AIDX-ktds/ktdsbaseLM-v0.14-onbased-llama3.1")
model = AutoModel.from_pretrained("AIDX-ktds/ktdsbaseLM-v0.14-onbased-llama3.1")

input_text =  """ 「국민건강보험법」제44조, 「국민건강보험법 시행령」제19조,「약관의 규제에 관한 법률」제5조, 「상법」제54조 참조 판단 해줘""" + " 답변:"
inputs = tokenizer(input_text, return_tensors="pt")
with torch.no_grad():
    outputs = model.generate(**inputs, max_length=1024,  temperature=0.5, do_sample=True, repetition_penalty=1.15)
   
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

✨ 主要特性

• 文化适配：基于LlaMA3.1模型，采用SFT方式微调，设计目的是理解韩语和韩国的各种文化背景，利用自制的53个领域的韩语数据，反映韩国社会的价值和文化。
• 功能丰富：支持文本生成、对话推理、文档摘要、问答、情感分析等多种自然语言处理相关任务，可应用于法律、财务、科学、教育、商业、文化研究等多个领域。
• 高性能架构：以LlaMA3.1 8B模型为基础，拥有80亿个参数，通过SFT方式针对韩语和韩国文化进行训练，轻量级结构保证了快速推理速度和内存效率，适合各种自然语言处理任务。

📦 安装指南

安装所需的库：

pip install transformers torch

💻 使用示例

基础用法

from transformers import AutoModel, AutoTokenizer
  
tokenizer = AutoTokenizer.from_pretrained("AIDX-ktds/ktdsbaseLM-v0.14-onbased-llama3.1")
model = AutoModel.from_pretrained("AIDX-ktds/ktdsbaseLM-v0.14-onbased-llama3.1")

input_text = "请输入你的问题"
inputs = tokenizer(input_text, return_tensors="pt")
with torch.no_grad():
    outputs = model.generate(**inputs, max_length=1024,  temperature=0.5, do_sample=True, repetition_penalty=1.15)
   
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

📚 详细文档

模型说明

该模型以LlaMA3.1为基础模型，通过SFT方式微调，旨在理解韩语和韩国的各种文化背景。它使用了自制的53个领域的韩语数据，以反映韩国社会的价值和文化。主要功能包括文本生成、对话推理、文档摘要、问答、情感分析等多种自然语言处理相关任务，可应用于多个领域。

训练数据

• 该模型基于自行开发的总计3.6GB的数据进行训练，包含233万个问答、摘要、分类等数据。其中，133万个是53个领域的客观问题，涵盖韩国历史、社会、财务、法律、税务、数学、生物、物理、化学等领域，采用Chain of Thought方式训练。另外，130万个主观问题在38个领域（如韩国历史、财务、法律、税务、数学等）进行了训练。训练数据中包含了理解韩国社会价值和人类情感并根据指示输出的内容。
• 训练指令数据集格式：

{"prompt": "prompt text", "completion": "ideal generated text"}

使用案例

• 教育领域：对历史、数学、科学等各种学习资料进行问答和解释生成。
• 商业领域：提供法律、财务、税务相关问题的答案，并进行文档摘要。
• 研究和文化领域：进行符合韩国社会和文化的自然语言处理任务、情感分析、文档生成和翻译。
• 客户服务领域：生成与用户的对话并提供个性化响应。

模型局限性

• 该模型虽然针对韩语和韩国文化进行了优化，但由于特定领域（如最新国际资料、专业领域）的数据不足，对其他语言或文化的响应准确性可能较低。
• 在处理需要复杂逻辑思维的问题时，可能表现出有限的推理能力。
• 如果训练数据中包含有偏差的数据，可能会生成有偏差的响应。

🔧 技术细节

该模型基于LlaMA3.1 8B模型，参数数量为80亿个。通过SFT（监督微调）方式，针对韩语和韩国文化进行了专门训练，轻量级的架构保证了快速的推理速度和高效的内存使用，适合各种自然语言处理任务。

📄 许可证

本项目采用apache-2.0许可证。

📋 模型信息